247
0
2025-07-26
2025-07-26
該論文發(fā)表于IEEE Transactions on Neural Networks and Learning Systems（中科院一區(qū)，IF=8.9），題目為《EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based Cross-Subject Emotion Recognition》。
香港城市大學(xué)的周如雙為此文第一作者。深圳大學(xué)的梁臻研究員為此文的通訊作者。
論文鏈接：https://ieeexplore.ieee.org/abstract/document/10756195/
在基于腦電的情感識(shí)別領(lǐng)域，標(biāo)簽稀缺性問(wèn)題是當(dāng)前的主要挑戰(zhàn)之一。在該論文中，作者提出了一種新的半監(jiān)督遷移學(xué)習(xí)框架（EEGMatch）來(lái)利用標(biāo)記和未標(biāo)記的EEG數(shù)據(jù)。首先，開(kāi)發(fā)了一種基于EEG-Mixup的數(shù)據(jù)增強(qiáng)方法，以生成更多用于模型學(xué)習(xí)的有效樣本。其次，提出了一種半監(jiān)督兩步成對(duì)學(xué)習(xí)方法來(lái)橋接原型和實(shí)例成對(duì)學(xué)習(xí)，其中原型成對(duì)學(xué)習(xí)測(cè)量EEG數(shù)據(jù)和每個(gè)情感類(lèi)的原型表示之間的全局關(guān)系，實(shí)例成對(duì)學(xué)習(xí)捕獲EEG數(shù)據(jù)之間的局部?jī)?nèi)在關(guān)系。第三，引入半監(jiān)督多域自適應(yīng)來(lái)對(duì)齊多個(gè)域（標(biāo)記源域、未標(biāo)記源域和目標(biāo)域）之間的數(shù)據(jù)表示，其中分布不匹配的情況得到緩解。作者在三個(gè)基準(zhǔn)數(shù)據(jù)集（SEED、SEED-IV和SEEDV）上進(jìn)行了廣泛的跨被試實(shí)驗(yàn)（留一受試者）。結(jié)果表明，在不同的不完整標(biāo)簽條件下，所提出的EEGMatch表現(xiàn)優(yōu)于最先進(jìn)的方法（對(duì)SEED的改進(jìn)為5.89%，對(duì)SEED-IV的改進(jìn)為0.93%，對(duì)SEED-V的改進(jìn)為0.28%），證明了其方法的有效性。
研究背景
現(xiàn)有的基于腦電的情感識(shí)別研究大多基于傳統(tǒng)的監(jiān)督學(xué)習(xí)，其中訓(xùn)練集中的所有數(shù)據(jù)都被很好地標(biāo)記。但是，標(biāo)記數(shù)據(jù)通常難以獲得、昂貴且耗時(shí)，需要巨大的人工努力。另一方面，與標(biāo)記數(shù)據(jù)相比，未標(biāo)記數(shù)據(jù)更容易收集。與監(jiān)督學(xué)習(xí)相比，使用標(biāo)記和未標(biāo)記數(shù)據(jù)的半監(jiān)督學(xué)習(xí)可以花費(fèi)更少的人力，用小標(biāo)記訓(xùn)練數(shù)據(jù)可以解決建模問(wèn)題，并創(chuàng)建更具泛化性的模型。然而，如何設(shè)計(jì)算法來(lái)高效和有效地利用標(biāo)記和未標(biāo)記數(shù)據(jù)的存在來(lái)改善模型學(xué)習(xí)，是當(dāng)前基于半監(jiān)督EEG的情感識(shí)別中的一個(gè)關(guān)鍵挑戰(zhàn)。
在現(xiàn)有的基于監(jiān)督EEG的情感識(shí)別研究中，遷移學(xué)習(xí)方法已被廣泛采用以最小化EEG信號(hào)中的個(gè)體差異，其中來(lái)自訓(xùn)練受試者的標(biāo)記數(shù)據(jù)被視為源域，來(lái)自測(cè)試受試者的未知數(shù)據(jù)被視為目標(biāo)域。通過(guò)對(duì)齊源域和目標(biāo)域的聯(lián)合分布以近似滿(mǎn)足獨(dú)立同分布（IID）假設(shè)，可以減輕EEG信號(hào)中的個(gè)體差異，并且可以增強(qiáng)目標(biāo)域上的模型性能。當(dāng)前使用遷移學(xué)習(xí)方法的基于腦電的情感識(shí)別研究中，通常需要在源域中大量的標(biāo)記數(shù)據(jù)。如果源域中的大多數(shù)數(shù)據(jù)未被標(biāo)記，則模型訓(xùn)練性能將受到嚴(yán)重限制。半監(jiān)督學(xué)習(xí)框架通過(guò)利用少量標(biāo)記數(shù)據(jù)和大量未標(biāo)記數(shù)據(jù)的組合以及增強(qiáng)學(xué)習(xí)任務(wù)，為解決這一問(wèn)題提供了巨大的潛力。但是，在前人的工作中，仍有三個(gè)局限性，應(yīng)在未來(lái)基于半監(jiān)督腦電圖的跨被試情緒識(shí)別研究中徹底調(diào)查和解決。
1）不適當(dāng)?shù)哪X電信號(hào)數(shù)據(jù)增強(qiáng)：先前的研究利用Mixup方法進(jìn)行腦電信號(hào)數(shù)據(jù)增強(qiáng)，該方法忽略了腦電信號(hào)的非平穩(wěn)特性。在不同試驗(yàn)中從不同受試者收集的EEG樣本并不滿(mǎn)足IID，這與Mixup方法的主要原則相矛盾。
2）不完整標(biāo)簽任務(wù)的低效學(xué)習(xí)框架：以前的工作基于逐點(diǎn)學(xué)習(xí)框架，該框架依賴(lài)于豐富和精確的標(biāo)簽進(jìn)行模型訓(xùn)練，在標(biāo)簽稀缺條件下不切實(shí)際。
3）忽略標(biāo)記和未標(biāo)記源數(shù)據(jù)之間的分布不匹配：以往的模型只考慮了標(biāo)記源數(shù)據(jù)和未知目標(biāo)數(shù)據(jù)之間的分布不匹配，未標(biāo)記源數(shù)據(jù)的分布比對(duì)被忽略。
為了解決上述問(wèn)題，作者提出了一種新的半監(jiān)督學(xué)習(xí)框架（EEGMatch），用于基于EEG的不完整標(biāo)簽的跨被試情感識(shí)別。所提出的EEGMatch由三個(gè)主要模塊組成：基于EEG-Mixup的數(shù)據(jù)增強(qiáng)、半監(jiān)督兩步成對(duì)學(xué)習(xí)（原型和實(shí)例）和半監(jiān)督多域自適應(yīng)。
方法與結(jié)果分析
作者提出的 EEGMatch 的半監(jiān)督學(xué)習(xí)框架由三個(gè)模塊組成。(1) 基于 EEG?Mixup 的數(shù)據(jù)增強(qiáng)：生成增強(qiáng)數(shù)據(jù)并增加建模的樣本量。(2) 半監(jiān)督兩步成對(duì)學(xué)習(xí)：在考慮全局特征表示（原型方式）和局部?jī)?nèi)在關(guān)系（實(shí)例方式）的情況下提升特征學(xué)習(xí)。(3) 半監(jiān)督多域自適應(yīng)：對(duì)標(biāo)記源域 (S)、無(wú)標(biāo)記源域 (U) 和目標(biāo)域 (T) 之間的分布偏移進(jìn)行對(duì)齊。
圖1 EEGMatch的整體方法表示
1. 基于 EEG?Mixup 的數(shù)據(jù)增強(qiáng)：
EEG-Mixup數(shù)據(jù)增強(qiáng)方法的核心思想是針對(duì)腦電信號(hào)的非平穩(wěn)特性，設(shè)計(jì)符合IID假設(shè)的增強(qiáng)策略。作者的方法通過(guò)兩個(gè)關(guān)鍵步驟實(shí)現(xiàn)：?有效數(shù)據(jù)采樣嚴(yán)格限定混合素材的來(lái)源范圍，僅選取同一受試者、同一次試驗(yàn)內(nèi)的EEG片段（如SEED數(shù)據(jù)集中1秒時(shí)長(zhǎng)的差分熵特征），確保數(shù)據(jù)滿(mǎn)足獨(dú)立同分布要求，避免跨主體或跨試驗(yàn)混合導(dǎo)致的分布偏移；領(lǐng)域自適應(yīng)混合采用帶權(quán)線(xiàn)性插值技術(shù)，對(duì)標(biāo)記源域（S）隨機(jī)選取同次試驗(yàn)的兩個(gè)樣本，通過(guò)加權(quán)融合生成新樣本并保留情感標(biāo)簽的一致性（因同次試驗(yàn)樣本共享標(biāo)簽），而對(duì)未標(biāo)記源域（U）和目標(biāo)域（T）則僅混合信號(hào)本身生成無(wú)標(biāo)簽增強(qiáng)數(shù)據(jù)。最終，各領(lǐng)域的增強(qiáng)數(shù)據(jù)與原始數(shù)據(jù)拼接，顯著擴(kuò)充訓(xùn)練樣本規(guī)模。該方法通過(guò)針對(duì)性解決EEG信號(hào)特性與傳統(tǒng)數(shù)據(jù)增強(qiáng)的矛盾，為后續(xù)模型訓(xùn)練提供了高質(zhì)量、分布一致的增強(qiáng)數(shù)據(jù)。
2. 半監(jiān)督兩步成對(duì)學(xué)習(xí)：
該模塊的核心是設(shè)計(jì)一個(gè)雙步成對(duì)學(xué)習(xí)策略，以解決傳統(tǒng)點(diǎn)監(jiān)督學(xué)習(xí)在標(biāo)簽不足時(shí)的局限性。它分為兩個(gè)互補(bǔ)階段：原型級(jí)學(xué)習(xí)聚焦于全局情感類(lèi)別的代表性特征，而實(shí)例級(jí)學(xué)習(xí)則強(qiáng)化樣本間的局部關(guān)系。這種結(jié)構(gòu)充分利用了標(biāo)記和未標(biāo)記數(shù)據(jù)，通過(guò)半監(jiān)督機(jī)制生成可靠的監(jiān)督信號(hào)，提升模型在跨受試者場(chǎng)景下的魯棒性。
原型級(jí)學(xué)習(xí)旨在構(gòu)建每個(gè)情感類(lèi)別的原型表示，作為全局參考基準(zhǔn)。其思想是通過(guò)半監(jiān)督方式融合標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的信息。具體來(lái)說(shuō)，首先為未標(biāo)記源域樣本生成偽標(biāo)簽：使用分類(lèi)器輸出預(yù)測(cè)概率，并通過(guò)Sharpen函數(shù)調(diào)整置信度以最小化熵值。這些偽標(biāo)簽與真實(shí)標(biāo)簽結(jié)合，共同參與原型的計(jì)算過(guò)程。原型本身通過(guò)雙線(xiàn)性相似度度量來(lái)建立樣本與類(lèi)中心的關(guān)系，確保特征表示能緊密對(duì)齊情感類(lèi)別結(jié)構(gòu)。這一步的關(guān)鍵創(chuàng)新在于，即使標(biāo)簽稀缺，也能通過(guò)偽標(biāo)簽擴(kuò)展數(shù)據(jù)參與范圍，避免原型估計(jì)偏差。
實(shí)例級(jí)學(xué)習(xí)專(zhuān)注于捕捉樣本間的內(nèi)在局部結(jié)構(gòu)（如相似樣本的聚集性和差異樣本的分離性），以增強(qiáng)特征的判別力。其思想是通過(guò)動(dòng)態(tài)和漸進(jìn)式策略處理未標(biāo)記數(shù)據(jù)的不確定性。在源域（含標(biāo)記和未標(biāo)記樣本），計(jì)算實(shí)例間相似度矩陣，基于偽標(biāo)簽構(gòu)建監(jiān)督關(guān)系矩陣作為訓(xùn)練目標(biāo)。在目標(biāo)域（無(wú)標(biāo)簽數(shù)據(jù)），引入動(dòng)態(tài)閾值機(jī)制：僅選擇高置信度樣本對(duì)或低置信度樣本對(duì)參與損失計(jì)算，中間模糊樣本被忽略以過(guò)濾噪聲。同時(shí)，采用漸進(jìn)式學(xué)習(xí)策略：在訓(xùn)練過(guò)程中逐步調(diào)整閾值范圍（初始值固定，后期逐漸擴(kuò)展），逐步納入更多可靠樣本對(duì)，增強(qiáng)模型穩(wěn)定性。
3. 半監(jiān)督多域自適應(yīng)
該模塊提出一種半監(jiān)督多域自適應(yīng)方法，核心思想是通過(guò)理論推導(dǎo)建立目標(biāo)域誤差上界與三域分布差異的關(guān)聯(lián)性，據(jù)此設(shè)計(jì)聯(lián)合優(yōu)化策略。具體實(shí)現(xiàn)包含三個(gè)關(guān)鍵機(jī)制：首先構(gòu)建三域判別器，通過(guò)梯度反轉(zhuǎn)層（GRL）實(shí)現(xiàn)對(duì)抗訓(xùn)練，最大化域分類(lèi)損失以對(duì)齊標(biāo)記源域（S）、未標(biāo)記源域（U）和目標(biāo)域（T）的特征分布（最小化域間H-散度）；其次復(fù)用實(shí)例級(jí)成對(duì)損失約束源域特征，提升分類(lèi)判別性；最后引入動(dòng)態(tài)權(quán)重系數(shù)協(xié)調(diào)對(duì)抗訓(xùn)練與特征學(xué)習(xí)的平衡，初期側(cè)重特征提取后期強(qiáng)化域?qū)R。該方法突破傳統(tǒng)域自適應(yīng)僅對(duì)齊S與T域的局限，首次實(shí)現(xiàn)三域聯(lián)合分布優(yōu)化，理論驅(qū)動(dòng)和對(duì)抗機(jī)制的結(jié)合顯著提升跨域泛化能力。、
實(shí)驗(yàn)結(jié)果
表I報(bào)告了在SEED數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，對(duì)于每個(gè)受試者，N個(gè)試驗(yàn)有標(biāo)簽，15-n個(gè)試驗(yàn)沒(méi)有標(biāo)簽。復(fù)現(xiàn)的模型結(jié)果用“*”表示，與現(xiàn)有流行的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)方法進(jìn)行了比較。結(jié)果表明，在不同的不完整標(biāo)簽條件下，與其他模型相比，所提出的EEGMatch獲得了更好的性能，其中N=3、6、9、12的平均模型性能為91.35±07.03。與文獻(xiàn)中最佳競(jìng)爭(zhēng)對(duì)手實(shí)現(xiàn)的性能相比（DDC：85.46±08.34），不同N值下的平均性能提高為5.89%。它表明，即使只有少量的標(biāo)記數(shù)據(jù)（當(dāng)N較小時(shí)），EEGMatch仍然可以很好地利用標(biāo)記源數(shù)據(jù)（S）和未標(biāo)記源數(shù)據(jù)（U）來(lái)增強(qiáng)模型泛化能力，并在目標(biāo)域（T）中達(dá)到令人滿(mǎn)意的情感識(shí)別性能。表II和表III報(bào)告了在不同不完全標(biāo)簽條件下在SEED-IV和SEED-V數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，這也顯示了所提出的EEGMatch在半監(jiān)督跨被試情感識(shí)別任務(wù)上的優(yōu)越性。具體來(lái)說(shuō)，SEED-IV數(shù)據(jù)集上N=4、8、12、16、20的平均模型性能為65.53±08.31。此外，在N=5,15的SEED-V數(shù)據(jù)集上的平均模型性能為62.75±09.02。與文獻(xiàn)中的最佳結(jié)果相比，SEED-IV數(shù)據(jù)集在不同N值下的平均性能增強(qiáng)為0.93%（DDC：64.60±08.82），SEED-V數(shù)據(jù)集為0.28%（DDC：62.47±08.25）。另一方面，在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)性能提升不如在SEED數(shù)據(jù)集上明顯。一個(gè)可能的原因是數(shù)據(jù)集中更多的情感類(lèi)會(huì)使預(yù)測(cè)的偽標(biāo)簽）更加不穩(wěn)定。
表I 在具有不完整標(biāo)簽的SEED數(shù)據(jù)集的平均準(zhǔn)確率（%）和標(biāo)準(zhǔn)偏差（%）。
表II 在具有不完整標(biāo)簽的SEED-IV數(shù)據(jù)集的平均準(zhǔn)確率（%）和標(biāo)準(zhǔn)偏差（%）。
表III 在具有不完整標(biāo)簽的SEED-V數(shù)據(jù)集的平均準(zhǔn)確率（%）和標(biāo)準(zhǔn)偏差（%）。
結(jié)論
在本文中，作者提出了一種新的半監(jiān)督學(xué)習(xí)框架（EEGMatch），用于基于EEG的不完全標(biāo)簽的跨被試情感識(shí)別。所提出的EEGMatch引入了一種高效的基于EEG-Mixup的數(shù)據(jù)增強(qiáng)來(lái)增加建模的樣本量，開(kāi)發(fā)了一種半監(jiān)督兩步成對(duì)學(xué)習(xí)框架（原型和實(shí)例）來(lái)實(shí)現(xiàn)高效的全局和局部特征學(xué)習(xí)，并提出了一種半監(jiān)督多域自適應(yīng)方法來(lái)共同解決多域之間的分布不匹配問(wèn)題。在各種標(biāo)簽稀缺條件下，根據(jù)實(shí)際實(shí)驗(yàn)方案，在兩個(gè)基準(zhǔn)數(shù)據(jù)集（SEED和SEED-IV）上進(jìn)行了廣泛的實(shí)驗(yàn)。與現(xiàn)有流行的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法相比，實(shí)驗(yàn)結(jié)果證明了所提出的EEGMatch在處理具有不完整標(biāo)簽的半監(jiān)督EEG應(yīng)用方面的優(yōu)越性。
撰稿人：黃俊鵬
審稿人：王斐
