268
0
2025-04-29
2025-04-29
該論文發(fā)表于Advanced Engineering Informatics（中科院一區(qū)，IF=8.0），題目為《Light-weight residual convolution-based capsule network for EEG emotion recognition》。
安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院科研團(tuán)隊(duì)的范存航副教授為本論文的第一作者，安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院科研團(tuán)隊(duì)的呂釗教授為本論文的通訊作者。
https://www.sciencedirect.com/science/article/pii/S1474034624001708
近年來(lái)，腦電圖（EEG）情緒識(shí)別取得了顯著進(jìn)展。然而，當(dāng)前所應(yīng)用的淺層卷積神經(jīng)網(wǎng)絡(luò)（CNNs）無(wú)法很好地刻畫不同特征之間的空間關(guān)系，這影響了模型的整體性能。此外，由于腦電樣本數(shù)據(jù)量較小，收集和標(biāo)注足夠的腦電信號(hào)用于情緒識(shí)別仍具挑戰(zhàn)性。從小樣本數(shù)據(jù)中提取更具區(qū)分性的特征，是當(dāng)前EEG情緒識(shí)別所面臨的關(guān)鍵問(wèn)題之一。為了解決這些問(wèn)題，本文提出了一種輕量級(jí)的基于殘差卷積的膠囊網(wǎng)絡(luò)（LResCapsule），用于EEG情緒識(shí)別。LResCapsule 由基于 Light-ResNet 的特征提取器和膠囊分類器兩部分組成。針對(duì)腦電訓(xùn)練數(shù)據(jù)不足的問(wèn)題，本文設(shè)計(jì)了一種參數(shù)量較低的 Light-ResNet 網(wǎng)絡(luò)，能夠從原始腦電信號(hào)中自動(dòng)提取深層的情緒特征。隨后，采用膠囊分類器來(lái)識(shí)別局部特征與全局特征在空間域中的位置關(guān)系，從而進(jìn)一步提升情緒識(shí)別性能。與 ResNet18 相比，所提出的 Light-ResNet 的參數(shù)數(shù)量減少了 84.5%。在 DEAP 和 DREAMER 兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提出的 LResCapsule 在被試內(nèi)和被試間實(shí)驗(yàn)中均優(yōu)于當(dāng)前主流的先進(jìn)方法。
EEG信號(hào)因其非侵入性、成本低、時(shí)間分辨率高而受到廣泛關(guān)注。與面部表情、語(yǔ)音等非生理信號(hào)相比，EEG具有更強(qiáng)的抗干擾性與可靠性。由于情緒活動(dòng)會(huì)引起腦電信號(hào)的變化，因此EEG已成為識(shí)別情緒的重要方式之一。隨著深度學(xué)習(xí)的興起，卷積神經(jīng)網(wǎng)絡(luò)（CNNs）被廣泛用于EEG情緒識(shí)別任務(wù)。盡管如此，現(xiàn)有的淺層CNN結(jié)構(gòu)仍存在一些問(wèn)題，例如：無(wú)法有效提取空間特征、局部特征與全局特征之間的空間關(guān)系無(wú)法保留以及在處理小樣本數(shù)據(jù)集時(shí)容易過(guò)擬合等。為了解決這些問(wèn)題，近年來(lái)研究者嘗試將膠囊網(wǎng)絡(luò)（Capsule Network, CapsNet）應(yīng)用于EEG情緒識(shí)別。膠囊網(wǎng)絡(luò)能夠有效保留特征的空間層次關(guān)系，并對(duì)不同通道的空間結(jié)構(gòu)進(jìn)行建模。然而，標(biāo)準(zhǔn)膠囊網(wǎng)絡(luò)在處理原始信號(hào)時(shí)往往無(wú)法有效提取深層特征。
為了解決這些問(wèn)題，本文提出一種新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為輕量級(jí)殘差卷積膠囊網(wǎng)絡(luò)（LResCapsule），如圖 1 所示。LResCapsule 包含兩個(gè)部分：基于 Light-ResNet 的特征提取器和基于膠囊的分類器。Light-ResNet 擁有較少的參數(shù)量，能夠從原始 EEG 信號(hào)中自動(dòng)提取多層次的情緒特征。而基于膠囊的分類器則利用局部特征與全局特征之間的位置關(guān)系進(jìn)一步進(jìn)行情緒分類，從而提升性能。
（1） 數(shù)據(jù)預(yù)處理
通常，腦電信號(hào)由兩部分組成：基線信號(hào)（在放松條件下收集）和實(shí)驗(yàn)信號(hào)（在刺激期間收集）。數(shù)據(jù)預(yù)處理包括去除基線信號(hào)，并使用滑動(dòng)窗口進(jìn)行數(shù)據(jù)切片。根據(jù)現(xiàn)有研究的分析結(jié)果，使用長(zhǎng)度為 1 秒、無(wú)重疊的滑動(dòng)窗口可以獲得更好的分類準(zhǔn)確率。因此，使用 1 秒的滑動(dòng)窗口來(lái)切割基線信號(hào)和實(shí)驗(yàn)信號(hào)。
（2）基于 LResCapsule 的情緒識(shí)別
將 Light-ResNet 與膠囊層結(jié)合，可有效減少過(guò)擬合并提升識(shí)別準(zhǔn)確率。膠囊分類器被用作 Light-ResNet 的全連接層，以彌補(bǔ)殘差網(wǎng)絡(luò)在輸出階段因池化操作導(dǎo)致的大量信息損失。
隨著深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更加復(fù)雜，存在兩個(gè)重要的問(wèn)題需要解決：首先，高模型復(fù)雜度導(dǎo)致的計(jì)算資源消耗；其次，網(wǎng)絡(luò)層數(shù)堆疊導(dǎo)致性能退化。為了優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)，該模型引入了一個(gè)由 ResNet18 推導(dǎo)出的殘差學(xué)習(xí)模塊，如圖二所示。通過(guò)殘差連接將梯度從高層傳遞至低層，模型可以在結(jié)構(gòu)簡(jiǎn)單的前提下提取更深層次的特征。因此，使用輕量化的 ResNet（即 Light-ResNet）替代復(fù)雜模型，以獲得更好的預(yù)測(cè)效果。
圖2 Light-ResNet的網(wǎng)絡(luò)架構(gòu)
Light-ResNet 由四個(gè)殘差模塊組成（即 N = 4），每個(gè)模塊都包含一個(gè) 3×3 的卷積核。該結(jié)構(gòu)移除了最大池化層（max pooling），因?yàn)?CNN 在該層中丟失了大量有效信息，導(dǎo)致最終輸出幾乎不可用。
② 基于膠囊的分類器
基于膠囊的分類器由一個(gè)卷積膠囊層（低層次膠囊層）和一個(gè)全連接膠囊層（高層次膠囊層）組成，該結(jié)構(gòu)通過(guò)動(dòng)態(tài)路由機(jī)制來(lái)捕捉并聚類低層與高層特征的表達(dá)。低層膠囊層將多層次的特征圖數(shù)據(jù)轉(zhuǎn)換為原始膠囊，以便在膠囊中融入更多重要的情緒信息，從而提升其特征表達(dá)能力。在情緒狀態(tài)方面，每個(gè)原始膠囊的長(zhǎng)度與方向反映了其所關(guān)聯(lián)的深層特征的存在性和特性。動(dòng)態(tài)路由算法的詳細(xì)信息，如圖3所示。
圖3 動(dòng)態(tài)路由算法體系結(jié)構(gòu)
在本文的實(shí)驗(yàn)中，使用了 DEAP 和 DREAMER 兩個(gè)公開(kāi)數(shù)據(jù)集來(lái)驗(yàn)證所提方法的性能。
（1）與基線模型結(jié)果對(duì)比分析
為了驗(yàn)證本文提出的基于 LResCapsule 的方法的有效性，本實(shí)驗(yàn)將其與 DEAP 和 DREAMER數(shù)據(jù)集上的一些基線方法進(jìn)行了比較。這些方法包括決策樹(shù)(DT)、支持向量機(jī)(SVM)、多層感知器(MLP)、3D卷積神經(jīng)網(wǎng)絡(luò)(3DCNN)、動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(DGCNN)和 CapsNet。
表1 不同方法在DEAP數(shù)據(jù)集上的三種分類任務(wù)的平均準(zhǔn)確率（%）
表2 不同方法在DREAMER數(shù)據(jù)集上的三種分類任務(wù)的平均準(zhǔn)確率（%）
從實(shí)驗(yàn)結(jié)果可以看出，所提出的 LResCapsule 方法在兩個(gè)數(shù)據(jù)集上、三個(gè)維度的情緒分類任務(wù)中，均達(dá)到了最好的分類準(zhǔn)確率，優(yōu)于傳統(tǒng)方法。
（2）與最先進(jìn)的模型結(jié)果對(duì)比分析
使用相同的數(shù)據(jù)分割方法，將提出的 LResCapsule 模型與幾種最先進(jìn)和代表性的基于腦電圖的情緒識(shí)別方法進(jìn)行了詳細(xì)比較，明確列出了本文的方法相對(duì)于使用DE特征和原始腦電圖數(shù)據(jù)作為輸入的最先進(jìn)方法所取得的改進(jìn)。
表3 與DEAP數(shù)據(jù)集上最先進(jìn)的模型進(jìn)行比較
表4 與DREAMER數(shù)據(jù)集最先進(jìn)模型的比較
從實(shí)驗(yàn)結(jié)果可以看出，所提出的 LResCapsule 方法在兩個(gè)數(shù)據(jù)集上、三個(gè)維度的情緒分類任務(wù)中，均達(dá)到了最好的分類準(zhǔn)確率，優(yōu)于現(xiàn)有 SOTA 模型。
（3）消融實(shí)驗(yàn)
為了驗(yàn)證本文提出的 LResCapsule 中改進(jìn)部分的有效性 ，本實(shí)驗(yàn)在DEAP和DREAMER數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。LResCapsule 基于 ResNet18 進(jìn)行了層調(diào)整以減少參數(shù)數(shù)量。將改進(jìn)后的 LResCapsule 與 ResNet18 和 Light-ResNet 進(jìn)行了比較。
表6 在單被試實(shí)驗(yàn)中，DEAP數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果（%）
表7 在單被試實(shí)驗(yàn)中，DREAMER數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果（%）
從實(shí)驗(yàn)結(jié)果可以看出，輕量級(jí)殘差網(wǎng)絡(luò)（Light-ResNet）較 ResNet18 參數(shù)減少 84.5%（1.65M vs 10.65M），DEAP 準(zhǔn)確率提升 8-11%（arousal 85.99%→97.58%），DREAMER 提升 5%（arousal 93.98%→95.77%）；膠囊分類器在 Light-ResNet 基礎(chǔ)上進(jìn)一步提升 13-15%（DEAP）和 2%（DREAMER）；完整模型 LResCapsule 在 DEAP 三分類任務(wù)中均達(dá) 97% 以上，DREAMER 達(dá) 95% 以上，且較其他輕量級(jí)網(wǎng)絡(luò)（如 SqueezeNet、EEGNet）準(zhǔn)確率提升 4-15%，驗(yàn)證了輕量級(jí)設(shè)計(jì)與膠囊層的有效性。
（4）與輕量級(jí)模型和淺層神經(jīng)網(wǎng)絡(luò)的對(duì)比
基于本文的數(shù)據(jù)劃分和選擇的數(shù)據(jù)分割長(zhǎng)度，本實(shí)驗(yàn)將提出的Light-ResNet 與淺層CNN、現(xiàn)有最先進(jìn)的輕量級(jí)網(wǎng)絡(luò)進(jìn)行了比較。淺層網(wǎng)絡(luò)如3層CNN，輕量級(jí)網(wǎng)絡(luò)如SqueezeNet、EEGNet和TSception。
表8 在DEAP數(shù)據(jù)集上的輕量級(jí)網(wǎng)絡(luò)和淺層CNN的精度（%）
表9 在DREAMER數(shù)據(jù)集上的輕量級(jí)網(wǎng)絡(luò)和淺層CNN的精度（%）
從實(shí)驗(yàn)結(jié)果可以看出，所提出的 LResCapsule 方法兩個(gè)數(shù)據(jù)集上、三個(gè)維度的情緒分類任務(wù)中，均達(dá)到了最好的分類準(zhǔn)確率，優(yōu)于現(xiàn)有先進(jìn)的輕量級(jí)模型和淺層神經(jīng)網(wǎng)絡(luò)模型。
本文提出了一種基于多通道 EEG 情緒識(shí)別的 LResCapsule 架構(gòu)，能夠有效識(shí)別多通道 EEG 信號(hào)之間的內(nèi)在關(guān)系。由于 EEG 樣本數(shù)據(jù)量較小，具有大量參數(shù)的網(wǎng)絡(luò)容易過(guò)擬合。通過(guò)減少模型參數(shù)數(shù)量和層數(shù)，可以有效緩解該問(wèn)題并提升計(jì)算速度。
該方法可以通過(guò)基于輕量殘差模塊（Light-ResNet）自動(dòng)提取深層特征，從原始 EEG 信號(hào)中檢測(cè)情緒狀態(tài)。其特征提取能力在情緒識(shí)別與分類任務(wù)中表現(xiàn)出色。該創(chuàng)新結(jié)構(gòu)使模型能夠探索更深層次的有用隱含特征用于分類。同時(shí)，使用動(dòng)態(tài)路由機(jī)制的膠囊網(wǎng)絡(luò)（膠囊神經(jīng)元組）可以學(xué)習(xí)局部與全局之間的相對(duì)空間關(guān)系，從而捕捉關(guān)鍵的高階信息。膠囊間的動(dòng)態(tài)路由算法替代了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的最大池化操作，避免了因池化而造成的位置信息損失。該算法會(huì)逐個(gè)計(jì)算隱藏層中每個(gè)膠囊之間的關(guān)系，并使隱藏層動(dòng)態(tài)地連接，因此模型能夠自動(dòng)篩選更有效的情緒膠囊，從而提升識(shí)別性能。
在本研究中，對(duì)兩個(gè)公開(kāi)數(shù)據(jù)集 DEAP 和 DREAMER 上進(jìn)行了實(shí)驗(yàn)。在被試內(nèi)實(shí)驗(yàn)中，LResCapsule 在兩個(gè)數(shù)據(jù)集上的表現(xiàn)均顯著優(yōu)于其他模型。該方法在 DEAP 數(shù)據(jù)集的喚醒度、愉悅度和主導(dǎo)度三個(gè)維度上分別取得了 97.58%、97.45% 和 97.61% 的平均準(zhǔn)確率；在 DREAMER 數(shù)據(jù)集上分別達(dá)到了 95.77%、95.15% 和 95.59%。
撰稿人：鄭凱彬
審稿人：游琪
