545
0
2025-07-31
2025-07-31
近日，腦機團隊成員應(yīng)祚睿等人在邱麗娜老師和潘家輝老師指導(dǎo)下的研究成果“MTADA: A Multi-task Adversarial Domain Adaptation Network for EEG-based Cross-subject Emotion Recognition”被人工智能領(lǐng)域國際頂級期刊 IEEE TRANSACTIONS ON AFFECTIVE COMPUTING（JCR Q1, 中科院大類學(xué)科計算機科學(xué)一區(qū)TOP, IF: 9.8） 接收。該論文于2025年2月15日投稿，2025年7月30日正式被接收。該研究受到科技創(chuàng)新2030-“腦科學(xué)與類腦研究”重大項目、國家自然科學(xué)基金青年科學(xué)基金項目等資助。
1. 研究背景
情緒在人們的日常生活中有著非常重要的作用，它影響著人類思考和對事物的判斷。腦電圖（Electroencephalography, EEG）情緒識別作為情感計算領(lǐng)域的重要研究方向，近年來受到廣泛關(guān)注。EEG信號通過記錄大腦皮層的電活動，能夠反映個體在不同情緒狀態(tài)下的神經(jīng)活動變化，具有高時間分辨率、非侵入性和成本較低等優(yōu)勢。與面部表情、語音、心率等其他情緒識別方式相比，EEG信號更難偽裝，能夠提供更為真實和細致的情緒特征，被廣泛應(yīng)用于腦機接口（BCI）、心理健康評估、人機交互等場景。目前，大多數(shù)情緒識別模型主要集中在單任務(wù)學(xué)習(xí)，即一次只學(xué)習(xí)和識別一個維度，如效價，喚醒或優(yōu)勢。這種方法不僅導(dǎo)致學(xué)習(xí)效率低，而且忽略了不同情感維度之間的潛在聯(lián)系，導(dǎo)致識別精度不佳。
2. 方法和結(jié)果
圖1：基于多任務(wù)學(xué)習(xí)和對抗域適應(yīng)的跨被試情緒識別模型（MTADA）的框架
在本研究中，我們提出了一種名為 MTADA 的跨被試腦電情緒識別模型，其整體框架如圖1所示。該模型主要包括三個關(guān)鍵模塊：領(lǐng)域匹配模塊、多任務(wù)情感分類模塊和對抗域適應(yīng)模塊。在域匹配階段，模型從多個源域中選擇與目標域（目標被試）最相似的數(shù)據(jù)，并將其標記為“最佳匹配源域”，以作為后續(xù)遷移學(xué)習(xí)的基礎(chǔ)。在多任務(wù)情感分類模塊中，編碼器首先將高維腦電特征映射至低維潛在空間，隨后通過多頭分類器對多個情感維度標簽（如valence、arousal、dominance）進行聯(lián)合預(yù)測，實現(xiàn)多任務(wù)學(xué)習(xí)。在對抗性領(lǐng)域自適應(yīng)模塊中，模型利用源域樣本與目標域樣本構(gòu)造跨域樣本對，通過對抗性訓(xùn)練方式對齊源域與目標域的分布差異，從而提升跨被試泛化能力。
為了驗證所提出的模型在EEG情感識別上的性能，本研究在DEAP和FACED這兩個公開的EEG情感數(shù)據(jù)集上進行了實驗。DEAP是2011年提出的用于分析人類情緒狀態(tài)的多模態(tài)數(shù)據(jù)集。該數(shù)據(jù)集收集了32名健康個體（50%為女性）觀看40段1分鐘長的音樂視頻剪輯時的EEG和外周生理信號。EEG信號由32個通道以128 Hz的采樣頻率記錄。受試者的年齡范圍為19 - 37歲，平均年齡為26.9歲。實驗結(jié)束后，每位受試者都被要求根據(jù)幾個維度對每段視頻進行評分，包括效價、喚醒、支配和喜歡，評分范圍為1到9。FACED是2023年提出的大規(guī)模情感計算EEG數(shù)據(jù)集，記錄了123名受試者（75名女性和48名男性）的32通道EEG信號。以250 Hz的采樣頻率采集EEG信號。受試者的年齡范圍為17 - 38歲，平均年齡約為23. 2歲。在實驗過程中，被試被邀請觀看28個情緒誘導(dǎo)視頻片段，長度從34秒到129秒不等（平均約66秒），涵蓋了9種情緒類別（娛樂、靈感、喜悅、溫柔、憤怒、恐懼、厭惡、悲傷和中性情緒）。觀看視頻后，受試者需要從12個不同的情緒維度對每個視頻進行評估，包括憤怒、恐懼、厭惡、悲傷、娛樂、靈感、喜悅、溫柔、效價、喚起、喜歡和熟悉，使用從0到7的連續(xù)量表。試驗結(jié)果如下：
表1 ：不同模型在DEAP數(shù)據(jù)集上識別準確率的比較（%）。
表1給出了在DEAP數(shù)據(jù)集上的最新方法和所提出的方法的跨被試情緒識別精度。在DEAP數(shù)據(jù)集上，MTADA在效價維度上的平均識別率為76.39%，而喚醒維度和支配維度的平均識別率分別為69.74%和68.26%。
表2 ：不同模型在FACED數(shù)據(jù)集上的識別準確率的比較（%）。
表2給出了在FACED數(shù)據(jù)集上的最新方法和所提出的方法的跨被試情緒識別精度。在FACED數(shù)據(jù)集上，我們同時對十個情緒維度（包括娛樂，靈感，喜悅，溫柔，憤怒，恐懼，厭惡，悲傷，效價和喚醒）進行了跨學(xué)科的二元分類情緒識別。所有情緒維度的識別準確率均超過77.55%。我們在FACED數(shù)據(jù)集上進行了兩個實驗：一個九類情緒識別任務(wù)和一個基于正/負情緒的二元分類任務(wù)。在九類情緒任務(wù)中，情緒被分為娛樂、靈感、喜悅、溫柔、憤怒、恐懼、厭惡、悲傷和中性情緒等九個獨立的標簽。二元分類任務(wù)將情緒簡化為積極的（例如，娛樂、靈感、喜悅、溫柔）和消極（例如，憤怒、懼怕、厭惡、悲傷）的情緒。如表2所示，MTADA在兩項任務(wù)中的表現(xiàn)都優(yōu)于現(xiàn)有模型。在九類任務(wù)中，MTADA的準確率為44.37%，在二元分類任務(wù)中，MTADA的準確率為86.21%，顯著高于現(xiàn)有的算法模型。
3. 結(jié)論
本研究提出了一種基于多任務(wù)學(xué)習(xí)和對抗域適應(yīng)（MTADA）的跨被試腦電情緒識別模型，該模型融合了多任務(wù)學(xué)習(xí)與對抗域適應(yīng)機制，以提升跨被試情緒識別的性能。為減小個體間差異，模型首先采用域匹配策略，從多個源域中選取與目標域最為匹配的源域數(shù)據(jù)；隨后，模型引入對抗域適應(yīng)機制，以學(xué)習(xí)源域與目標域之間的分布差異，并通過構(gòu)建融合類別信息的細粒度聯(lián)合領(lǐng)域判別器對兩者進行對齊。此外，模型還引入了多任務(wù)學(xué)習(xí)機制，能夠同時學(xué)習(xí)多個情緒維度，有效挖掘并利用不同情緒之間的互補信息，從而進一步提升識別效果。所提出的 MTADA 模型不僅能夠有效應(yīng)對腦電情緒識別中的個體差異問題，還能夠捕捉不同情緒維度之間的內(nèi)在聯(lián)系。在跨被試情緒識別任務(wù)中，其性能優(yōu)于大多數(shù)現(xiàn)有先進方法，為未來基于腦電的腦機接口系統(tǒng)提供了一種新的解決策略。
