549
0
2025-07-31
2025-07-31
近日，腦機(jī)團(tuán)隊(duì)成員應(yīng)祚睿等人在邱麗娜老師和潘家輝老師指導(dǎo)下的研究成果“MTADA: A Multi-task Adversarial Domain Adaptation Network for EEG-based Cross-subject Emotion Recognition”被人工智能領(lǐng)域國(guó)際頂級(jí)期刊 IEEE TRANSACTIONS ON AFFECTIVE COMPUTING（JCR Q1, 中科院大類學(xué)科計(jì)算機(jī)科學(xué)一區(qū)TOP, IF: 9.8） 接收。該論文于2025年2月15日投稿，2025年7月30日正式被接收。該研究受到科技創(chuàng)新2030-“腦科學(xué)與類腦研究”重大項(xiàng)目、國(guó)家自然科學(xué)基金青年科學(xué)基金項(xiàng)目等資助。
1. 研究背景
情緒在人們的日常生活中有著非常重要的作用，它影響著人類思考和對(duì)事物的判斷。腦電圖（Electroencephalography, EEG）情緒識(shí)別作為情感計(jì)算領(lǐng)域的重要研究方向，近年來(lái)受到廣泛關(guān)注。EEG信號(hào)通過(guò)記錄大腦皮層的電活動(dòng)，能夠反映個(gè)體在不同情緒狀態(tài)下的神經(jīng)活動(dòng)變化，具有高時(shí)間分辨率、非侵入性和成本較低等優(yōu)勢(shì)。與面部表情、語(yǔ)音、心率等其他情緒識(shí)別方式相比，EEG信號(hào)更難偽裝，能夠提供更為真實(shí)和細(xì)致的情緒特征，被廣泛應(yīng)用于腦機(jī)接口（BCI）、心理健康評(píng)估、人機(jī)交互等場(chǎng)景。目前，大多數(shù)情緒識(shí)別模型主要集中在單任務(wù)學(xué)習(xí)，即一次只學(xué)習(xí)和識(shí)別一個(gè)維度，如效價(jià)，喚醒或優(yōu)勢(shì)。這種方法不僅導(dǎo)致學(xué)習(xí)效率低，而且忽略了不同情感維度之間的潛在聯(lián)系，導(dǎo)致識(shí)別精度不佳。
2. 方法和結(jié)果
圖1：基于多任務(wù)學(xué)習(xí)和對(duì)抗域適應(yīng)的跨被試情緒識(shí)別模型（MTADA）的框架
在本研究中，我們提出了一種名為 MTADA 的跨被試腦電情緒識(shí)別模型，其整體框架如圖1所示。該模型主要包括三個(gè)關(guān)鍵模塊：領(lǐng)域匹配模塊、多任務(wù)情感分類模塊和對(duì)抗域適應(yīng)模塊。在域匹配階段，模型從多個(gè)源域中選擇與目標(biāo)域（目標(biāo)被試）最相似的數(shù)據(jù)，并將其標(biāo)記為“最佳匹配源域”，以作為后續(xù)遷移學(xué)習(xí)的基礎(chǔ)。在多任務(wù)情感分類模塊中，編碼器首先將高維腦電特征映射至低維潛在空間，隨后通過(guò)多頭分類器對(duì)多個(gè)情感維度標(biāo)簽（如valence、arousal、dominance）進(jìn)行聯(lián)合預(yù)測(cè)，實(shí)現(xiàn)多任務(wù)學(xué)習(xí)。在對(duì)抗性領(lǐng)域自適應(yīng)模塊中，模型利用源域樣本與目標(biāo)域樣本構(gòu)造跨域樣本對(duì)，通過(guò)對(duì)抗性訓(xùn)練方式對(duì)齊源域與目標(biāo)域的分布差異，從而提升跨被試泛化能力。
為了驗(yàn)證所提出的模型在EEG情感識(shí)別上的性能，本研究在DEAP和FACED這兩個(gè)公開(kāi)的EEG情感數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。DEAP是2011年提出的用于分析人類情緒狀態(tài)的多模態(tài)數(shù)據(jù)集。該數(shù)據(jù)集收集了32名健康個(gè)體（50%為女性）觀看40段1分鐘長(zhǎng)的音樂(lè)視頻剪輯時(shí)的EEG和外周生理信號(hào)。EEG信號(hào)由32個(gè)通道以128 Hz的采樣頻率記錄。受試者的年齡范圍為19 - 37歲，平均年齡為26.9歲。實(shí)驗(yàn)結(jié)束后，每位受試者都被要求根據(jù)幾個(gè)維度對(duì)每段視頻進(jìn)行評(píng)分，包括效價(jià)、喚醒、支配和喜歡，評(píng)分范圍為1到9。FACED是2023年提出的大規(guī)模情感計(jì)算EEG數(shù)據(jù)集，記錄了123名受試者（75名女性和48名男性）的32通道EEG信號(hào)。以250 Hz的采樣頻率采集EEG信號(hào)。受試者的年齡范圍為17 - 38歲，平均年齡約為23. 2歲。在實(shí)驗(yàn)過(guò)程中，被試被邀請(qǐng)觀看28個(gè)情緒誘導(dǎo)視頻片段，長(zhǎng)度從34秒到129秒不等（平均約66秒），涵蓋了9種情緒類別（娛樂(lè)、靈感、喜悅、溫柔、憤怒、恐懼、厭惡、悲傷和中性情緒）。觀看視頻后，受試者需要從12個(gè)不同的情緒維度對(duì)每個(gè)視頻進(jìn)行評(píng)估，包括憤怒、恐懼、厭惡、悲傷、娛樂(lè)、靈感、喜悅、溫柔、效價(jià)、喚起、喜歡和熟悉，使用從0到7的連續(xù)量表。試驗(yàn)結(jié)果如下：
表1 ：不同模型在DEAP數(shù)據(jù)集上識(shí)別準(zhǔn)確率的比較（%）。
表1給出了在DEAP數(shù)據(jù)集上的最新方法和所提出的方法的跨被試情緒識(shí)別精度。在DEAP數(shù)據(jù)集上，MTADA在效價(jià)維度上的平均識(shí)別率為76.39%，而喚醒維度和支配維度的平均識(shí)別率分別為69.74%和68.26%。
表2 ：不同模型在FACED數(shù)據(jù)集上的識(shí)別準(zhǔn)確率的比較（%）。
表2給出了在FACED數(shù)據(jù)集上的最新方法和所提出的方法的跨被試情緒識(shí)別精度。在FACED數(shù)據(jù)集上，我們同時(shí)對(duì)十個(gè)情緒維度（包括娛樂(lè)，靈感，喜悅，溫柔，憤怒，恐懼，厭惡，悲傷，效價(jià)和喚醒）進(jìn)行了跨學(xué)科的二元分類情緒識(shí)別。所有情緒維度的識(shí)別準(zhǔn)確率均超過(guò)77.55%。我們?cè)贔ACED數(shù)據(jù)集上進(jìn)行了兩個(gè)實(shí)驗(yàn)：一個(gè)九類情緒識(shí)別任務(wù)和一個(gè)基于正/負(fù)情緒的二元分類任務(wù)。在九類情緒任務(wù)中，情緒被分為娛樂(lè)、靈感、喜悅、溫柔、憤怒、恐懼、厭惡、悲傷和中性情緒等九個(gè)獨(dú)立的標(biāo)簽。二元分類任務(wù)將情緒簡(jiǎn)化為積極的（例如，娛樂(lè)、靈感、喜悅、溫柔）和消極（例如，憤怒、懼怕、厭惡、悲傷）的情緒。如表2所示，MTADA在兩項(xiàng)任務(wù)中的表現(xiàn)都優(yōu)于現(xiàn)有模型。在九類任務(wù)中，MTADA的準(zhǔn)確率為44.37%，在二元分類任務(wù)中，MTADA的準(zhǔn)確率為86.21%，顯著高于現(xiàn)有的算法模型。
3. 結(jié)論
本研究提出了一種基于多任務(wù)學(xué)習(xí)和對(duì)抗域適應(yīng)（MTADA）的跨被試腦電情緒識(shí)別模型，該模型融合了多任務(wù)學(xué)習(xí)與對(duì)抗域適應(yīng)機(jī)制，以提升跨被試情緒識(shí)別的性能。為減小個(gè)體間差異，模型首先采用域匹配策略，從多個(gè)源域中選取與目標(biāo)域最為匹配的源域數(shù)據(jù)；隨后，模型引入對(duì)抗域適應(yīng)機(jī)制，以學(xué)習(xí)源域與目標(biāo)域之間的分布差異，并通過(guò)構(gòu)建融合類別信息的細(xì)粒度聯(lián)合領(lǐng)域判別器對(duì)兩者進(jìn)行對(duì)齊。此外，模型還引入了多任務(wù)學(xué)習(xí)機(jī)制，能夠同時(shí)學(xué)習(xí)多個(gè)情緒維度，有效挖掘并利用不同情緒之間的互補(bǔ)信息，從而進(jìn)一步提升識(shí)別效果。所提出的 MTADA 模型不僅能夠有效應(yīng)對(duì)腦電情緒識(shí)別中的個(gè)體差異問(wèn)題，還能夠捕捉不同情緒維度之間的內(nèi)在聯(lián)系。在跨被試情緒識(shí)別任務(wù)中，其性能優(yōu)于大多數(shù)現(xiàn)有先進(jìn)方法，為未來(lái)基于腦電的腦機(jī)接口系統(tǒng)提供了一種新的解決策略。
