102
0
2025-10-16
2025-10-16
該論文發(fā)表于IEEE Journal of Biomedical and Health Informatics（中科院二區(qū)，IF=6.8），題目為《SEEG Emotion Recognition Based on Transformer Network With Channel Selection and Explainability》。
天津大學楊卓斌博士、司霄鵬副教授和天津市環(huán)湖醫(yī)院金衛(wèi)篷主任醫(yī)師為該論文的共同第一作者，天津大學明東教授、司霄鵬副教授、天津市環(huán)湖醫(yī)院尹紹雅主任醫(yī)師為該論文的共同通訊作者。
論文鏈接：https://ieeexplore.ieee.org/document/11068118
情緒在決策過程在社會交往中發(fā)揮著關鍵作用。難治性情緒障礙（如重度抑郁障礙）長期以來一直是臨床治療的重大挑戰(zhàn)。隨著神經(jīng)科學和人工智能技術的進步，閉環(huán)情緒調控腦機接口（BCI）有望為這一問題提供新的解決途徑。
腦電圖（EEG）作為一種非侵入性信號，具有高時間分辨率和低成本的優(yōu)勢。然而，EEG只能記錄頭皮表面的信號，且極易受到噪聲和運動偽跡的干擾，這使其不適合用于患者狀態(tài)的長期監(jiān)測。自20世紀中葉發(fā)明以來，立體腦電圖（SEEG）已被廣泛應用于神經(jīng)疾病的治療。與EEG等非侵入性神經(jīng)影像方法相比，SEEG具有高時間分辨率、高信噪比、更豐富的頻段信息、更高的空間分辨率等優(yōu)勢。對于難治性情緒障礙患者而言，SEEG對大腦的侵入性相對較小，所記錄的腦信號更加穩(wěn)定。
基于大腦皮層進行情緒解碼的研究在穩(wěn)步推進，已有許多研究表明，情緒可通過皮層腦活動進行解碼。SEEG在腦活動解碼任務中同樣展現(xiàn)出獨特優(yōu)勢，深度學習方法已成為SEEG數(shù)據(jù)解碼中的主要手段，但基于SEEG的情緒信息解碼方面的研究卻略顯不足。
本研究設計了情緒視頻范式來誘發(fā)三類情緒，并收集了9名癲癇患者的SEEG數(shù)據(jù)，提出了一種基于空間Transformer的混合網(wǎng)絡（為表述方便，后文中簡寫為STHN）用于情緒識別。實驗結果表明，STHN能夠有效提取SEEG的全局空間表征，其識別性能優(yōu)于所有基線模型。同時，STHN具備自動通道選擇能力，即使僅使用權重最高的前30%通道，識別精度也幾乎不受影響，證明其能夠聚焦于對情緒識別最關鍵的通道信號。進一步分析發(fā)現(xiàn)，這些高權重通道主要位于額葉、顳葉和海馬等情緒相關腦區(qū)，體現(xiàn)了STHN的可解釋性，并為理解情緒識別的神經(jīng)機制提供了有益啟示。
在本研究中，SEEG數(shù)據(jù)使用BlackRock NeuroPort系統(tǒng)采集，原始采樣率為2000 Hz。原始數(shù)據(jù)通過硬件50 Hz陷波濾波器進行濾波。此外，還收集了每位受試者術前MRI數(shù)據(jù)和術后CT數(shù)據(jù)，以確定SEEG電極的位置。
本研究選取6個正性，6個負性以及12個中性情緒視頻作為刺激材料，部分材料來源于SEED和SEED-IV數(shù)據(jù)集，其余材料則選自評分較高的電影片段（豆瓣評分）。
圖1情緒誘發(fā)實驗的流程
整個實驗包含三個組塊（blocks），每個組塊包含8個試次（trial）。每個試次由三個階段組成：
每個試次之間設置30秒休息時間，每個組塊持續(xù)約20分鐘。在每個組塊中，8個刺激材料包括2個正性視頻、2個負性視頻和4個中性視頻。正性與負性情緒視頻與中性視頻交替呈現(xiàn)。由于有些患者處于治療時期，不宜接觸情緒價偏低的視頻，并非所有受試者完成了三個組塊的實驗。
對于采集到的原始SEEG信號，首先使用 50 Hz、100 Hz 和 150 Hz 陷波濾波器進行濾波。隨后，對原始數(shù)據(jù)進行了 1–140 Hz 的帶通濾波，然后將濾波后的數(shù)據(jù)下采樣至300Hz，并根據(jù)觸發(fā)信號將每個試驗的數(shù)據(jù)進行分段。對于每個試次的數(shù)據(jù)，進行基線校正，通過減去刺激呈現(xiàn)前3秒數(shù)據(jù)的均值進行歸一化。最終，選取步長為2秒、窗口長度為2秒的滑動窗口，獲取輸入模型的數(shù)據(jù)樣本。
模型整體架構如圖2所示，模型由局部時間特征提取器，全局空間特征提取器，高層特征提取器三部分組成，分別對應下圖中綠色方框，紅色方框，藍色方框中內(nèi)容。
圖2 模型的整體框架圖
1. 局部時間特征提取器：局部時間特征提取器的功能是從每個 SEEG 通道中提取情緒相關的時間信息。該提取器由兩個卷積模塊組成，每個模塊包含一個卷積層、一個批歸一化（BN）層、一個 ReLU 激活函數(shù)層以及一個平均池化層。如果以 Conv(:) 表示卷積層，以 σ(:) 表示批歸一化層、ReLU 激活函數(shù)層和平均池化層的計算過程，則該特征提取器可表示為：
X為原始SEEG信號，Xt為經(jīng)過特征提取器后得到的特征圖。
2. 全局空間特征提取器：在輸入空間Transformer之前，Xt首先經(jīng)過一個卷積模塊。該模塊旨在提取全局時間特征，同時保留通道之間的依賴關系。其結構包括一個卷積層、一個BN層、一個ReLU激活函數(shù)層以及在時間維度上的全局平均池化層。該模塊的卷積層計算過程記為Conv3(:)，其余操作記為γ(:)。此外，還在特征圖中加入一個可學習向量xl，用于與每個通道向量計算相關性。同時，添加一個可學習的位置向量Xpos到特征圖中，以保留各通道的相對位置信息。上述過程可表示為：
其中，S作為Transformer編碼器的輸入。
Transformer編碼器由兩個模塊組成：多頭自注意力機制（MSA）和前饋神經(jīng)網(wǎng)絡。每個模塊都應用了層歸一化（LN）和殘差連接自注意力（SA）使模型在處理多通道數(shù)據(jù)時，能夠關注不同通道位置上的重要信息。SA可以描述為在查詢向量Q、鍵向量K和值向量V之間計算縮放點積注意力，其公式如下：
其中，Q和K的維度設為dk，而V的維度設為dv。它們對應的映射矩陣分別為
。
與SA 相比，MSA（多頭注意力）提供了并行計算的優(yōu)勢，并且在捕獲全局和局部特征差異方面具有更強的能力。MSA的計算過程如下所示：
其中映射矩陣 
，h表示MSA的頭數(shù)?？臻gTransformer的完整計算過程如下：
其中S2表示信號通過空間Transformer后得到的特征圖。
3. 高層特征提取器：該特征提取器由一個深度卷積層（depth convolution layer）、一個 BN 層、一個 ReLU 激活函數(shù)層以及一個全局平均池化（GAP）層組成。輸入該模塊的特征首先會與空間Transformer中學到的通道注意力權重相乘。這種乘法操作使得模型能夠更加關注具有較高權重的通道。隨后，該模塊利用全局空間卷積提取關鍵的空間高層信息。該模塊的計算過程如下：
其中
，C表示輸入信號的通道數(shù)，通過選取自注意力矩陣第一行中，從第一列到第C+1列數(shù)據(jù)得到通道注意力權重得到。最后將空間 Transformer 中學到的可學習向量xl重新提取出來，與Xss拼接。隨后，三類情緒的概率輸出通過一個 MLP 實現(xiàn)。整個分類過程如下所示：
本研究中數(shù)據(jù)集采用留一分段交叉驗證進行構建，即將受試者觀看每個視頻時采集的SEEG 數(shù)據(jù)按照時間順序劃分為五組，每組數(shù)據(jù)用作一次測試集，其余四組數(shù)據(jù)作為訓練集。此外，隨機選取訓練集數(shù)據(jù)的20%作為驗證集。該過程重復五次，以確保每組數(shù)據(jù)都被用作一次測試集。
圖3 數(shù)據(jù)集劃分示意圖
本研究中，對于深度學習模型使用 Python 3.10 和 PyTorch 1.12 實現(xiàn)，并在 GeForce RTX 3090 GPU 上運行。對于機器學習模型，結合網(wǎng)格搜索與交叉驗證來評估不同參數(shù)組合的性能，并選取在驗證集上準確率最高的參數(shù)組合，在測試集上進行最終測試。
九名受試者的SEEG信號基線模型和所提出的STHN模型性能對比如表1所示?？傮w來看，深度學習算法在情緒識別中的準確率高于機器學習算法。STHN在情緒識別準確率方面優(yōu)于所有基線模型。此外，STHN在所有受試者上的準確率均超過80%，其中在受試者S8上更是超過90%。同時，STHN的標準差最低，表明其在跨受試者的情緒識別中具有更高的穩(wěn)定性。
表1 使用不同方法的準確率
表2 使用不同模塊模型的準確率
本研究通過消融實驗評估了STHN各組件對情緒識別的影響（表2）。完整模型效果最佳；移除Transformer權重共享機制性能下降0.6%，而移除空間Transformer則顯著下降12.1%。結果表明，空間Transformer在捕捉SEEG通道間判別性情緒信息方面具有重要作用。
圖4 受試者不同電極權重可視化
圖4展示了受試者S1的電極植入情況，權重大于0.6的觸點顯示為紅色。“L”代表左側，“A”代表前側，“R”代表右側?？梢奡EEG通道呈稀疏性，只有少數(shù)通道權重較高。為驗證高權重通道的有效性，本文以10%為間隔，選取各受試者權重排名前10%至100%的通道作為輸入進行實驗，并采用Wilcoxon符號秩檢驗。結果（圖5）表明，當通道比例從前10%增至30%時性能顯著提升，而超過30%后不再顯著增加。進一步驗證（圖6）顯示，除SVM外，其余對比模型在僅使用前30%通道時與使用全部通道相比準確率無顯著差異，說明STHN篩選的前30%通道具有代表性與有效性。圖5和圖6中*代表結果在95%的置信區(qū)間下顯著。
圖5 按權重，選取不同百分比SEEG通道時模型的準確率
圖6 不同方法使用權重前30%通道與100%通道對比
不同受試者的SEEG電極植入位置差異顯著，這種個體特異性給數(shù)據(jù)處理與分析帶來了挑戰(zhàn)。為確保研究結果的普適性，當某一腦區(qū)在至少四位受試者中屬于前30%高權重通道所在位置時，該腦區(qū)才被納入后續(xù)分析。此標準確保了所篩選出的腦區(qū)在不同個體中具有較高的出現(xiàn)頻率，能夠反映穩(wěn)定的神經(jīng)活動模式，從而提升研究的可信度。
篩選結果如表3和圖7所示。表3列出了篩選出的腦區(qū)及其對應的受試者，而圖7借助可視化技術直觀展示了這些腦區(qū)在大腦中的位置。結果表明，當受試者情緒被誘發(fā)時，右海馬、右額上回、右額中回吻側部及右顳中回表現(xiàn)出顯著的激活。這些腦區(qū)在情緒神經(jīng)活動中具有重要意義。
圖7 篩選出的腦區(qū)在大腦中對應位置
表三 篩選的腦區(qū)及與腦區(qū)對應的受試者
本研究提出的STHN模型在SEEG情緒識別任務中表現(xiàn)優(yōu)異，驗證了SEEG在臨床情緒解碼中的可行性與應用潛力。通過注意力權重分析，模型能夠從全部通道中篩選出對情緒識別貢獻較大的少量通道，僅使用前30%權重通道即可保持接近使用全部通道的識別精度，體現(xiàn)了其有效的通道選擇能力。進一步的可解釋性分析發(fā)現(xiàn)，STHN自動聚焦于海馬、額上回、額中回頭端部和顳中回等關鍵腦區(qū)，這些區(qū)域與情緒感知、調控密切相關，印證了模型的合理性和科學性。同時，結果也提示情緒解碼更依賴右半球腦區(qū)，這與“右腦優(yōu)勢”理論一致。盡管如此，本研究仍存在受試者數(shù)量有限、SEEG植入腦區(qū)覆蓋不足以及腦區(qū)定位精細度不足等局限，未來需要在更大規(guī)模樣本和更精細腦區(qū)層面開展研究，以進一步提升情緒識別性能和應用價值。
撰稿人：陳俊文
審稿人：高煒
