206
0
2025-06-22
2025-06-22
該論文發(fā)表于International Conference on Learning Representations 2025（CCF A），題目為《BrainUICL: An Unsupervised Individual Continual Learning Framework for EEG Applications》。
浙江大學(xué)的周陽(yáng)軒為此文第一作者，浙江大學(xué)的趙莎研究員為此文的通訊作者。
論文鏈接：https://openreview.net/pdf?id=6jjAYmppGQ
腦電圖（EEG）是一種非侵入式腦機(jī)接口技術(shù)，在臨床診斷、睡眠階段識(shí)別、情緒識(shí)別等領(lǐng)域有廣泛應(yīng)用。然而，現(xiàn)有的EEG模型在臨床實(shí)踐中面臨個(gè)體差異大、新患者不斷涌現(xiàn)的挑戰(zhàn)，導(dǎo)致泛化能力不足。為此，本文提出了一種無(wú)監(jiān)督個(gè)體持續(xù)學(xué)習(xí)框架（BrainUICL），使模型能在無(wú)需標(biāo)簽的前提下持續(xù)適應(yīng)新個(gè)體的同時(shí)保持對(duì)歷史和未來(lái)個(gè)體的泛化能力。通過(guò)動(dòng)態(tài)自信緩沖區(qū)（Dynamic Confident Buffer, DCB）和跨周期對(duì)齊（Cross Epoch Alignment, CEA）模塊，平衡模型的可塑性（適應(yīng)新個(gè)體）和穩(wěn)定性（保持對(duì)未見(jiàn)個(gè)體的泛化能力）。實(shí)驗(yàn)表明，BrainUICL在睡眠分期、情緒識(shí)別和運(yùn)動(dòng)想象三種主流EEG任務(wù)中均顯著優(yōu)于現(xiàn)有方法。BrainUICL框架工作流如圖1。
圖1 BrainUICL框架工作流
研究背景
腦電技術(shù)因其無(wú)創(chuàng)和高時(shí)間分辨率的特性，在臨床實(shí)踐中扮演著重要角色。然而，現(xiàn)有腦電模型在真實(shí)世界應(yīng)用中表現(xiàn)不佳。主要挑戰(zhàn)在于：
這些問(wèn)題促使研究者尋求新的解決方案。持續(xù)學(xué)習(xí)（Continual Learning, CL）允許模型從連續(xù)的數(shù)據(jù)流中學(xué)習(xí)，是解決此問(wèn)題的理想途徑。然而，CL的核心挑戰(zhàn)在于平衡“穩(wěn)定性-可塑性（Stability-Plasticity, SP）”困境：既要讓模型有效適應(yīng)新個(gè)體（高的可塑性），又要防止其在適應(yīng)過(guò)程中遺忘已有知識(shí)，并保持對(duì)所有未見(jiàn)個(gè)體的泛化能力（好的穩(wěn)定性）。
研究方法
本文提出了一種面向腦電圖應(yīng)用的無(wú)監(jiān)督個(gè)體持續(xù)學(xué)習(xí)框架（BrainUICL），旨在解決無(wú)監(jiān)督個(gè)體持續(xù)學(xué)習(xí)場(chǎng)景下的上述挑戰(zhàn)。其核心思想是讓模型在逐個(gè)適應(yīng)無(wú)標(biāo)簽的新個(gè)體時(shí)，不僅表現(xiàn)出良好的適應(yīng)性（可塑性），還能不斷積累知識(shí)，最終成為一個(gè)對(duì)所有未見(jiàn)個(gè)體都具有強(qiáng)大泛化能力的“通用專家”。
實(shí)驗(yàn)所用的數(shù)據(jù)集均被劃分為預(yù)訓(xùn)練集、增量集和泛化集三個(gè)部分，遵循約3:5:2的比例。預(yù)訓(xùn)練集由多個(gè)帶真實(shí)標(biāo)簽的個(gè)體數(shù)據(jù)組成，這部分?jǐn)?shù)據(jù)用于預(yù)訓(xùn)練，得到一個(gè)初始的增量模型；增量集由大量無(wú)標(biāo)簽的、持續(xù)到來(lái)的新個(gè)體數(shù)據(jù)組成，模型需要在這個(gè)數(shù)據(jù)流上逐個(gè)進(jìn)行無(wú)監(jiān)督的個(gè)體域適應(yīng)，這部分?jǐn)?shù)據(jù)主要用于評(píng)估模型的可塑性 (Plasticity)，即適應(yīng)新個(gè)體的能力；泛化集由另一組帶真實(shí)標(biāo)簽的未見(jiàn)個(gè)體數(shù)據(jù)組成，在模型每完成一輪對(duì)增量集中個(gè)體的適應(yīng)后，都會(huì)在這個(gè)集合上進(jìn)行測(cè)試，以評(píng)估其穩(wěn)定性 (Stability)，即對(duì)所有未知個(gè)體的泛化能力。無(wú)監(jiān)督個(gè)體持續(xù)學(xué)習(xí)的過(guò)程如圖2所示。
圖2 無(wú)監(jiān)督個(gè)體持續(xù)學(xué)習(xí)的過(guò)程
BrainUICL框架主要由以下幾個(gè)關(guān)鍵模塊組成：
（1）SSL訓(xùn)練生成偽標(biāo)簽
由于新流入的個(gè)體數(shù)據(jù)沒(méi)有標(biāo)簽，模型首先需要為它們生成高質(zhì)量的偽標(biāo)簽?？紤]到傳統(tǒng)聚類方法對(duì)低信噪比的腦電信號(hào)效果不佳，BrainUICL采用對(duì)比預(yù)測(cè)編碼（Contrastive Predictive Coding, CPC）自監(jiān)督學(xué)習(xí)算法對(duì)一個(gè)“指導(dǎo)模型”（拷貝最新的增量模型）進(jìn)行微調(diào)。通過(guò)這種方式，指導(dǎo)模型能初步適應(yīng)新個(gè)體的數(shù)據(jù)分布，從而生成置信度更高、質(zhì)量更好的偽標(biāo)簽，用于后續(xù)的模型適配訓(xùn)練。
（2）動(dòng)態(tài)置信緩沖 (DCB)
為防止在持續(xù)學(xué)習(xí)中發(fā)生“災(zāi)難性遺忘”，BrainUICL采用了基于重放（rehearsal-based）的策略。但傳統(tǒng)的樣本回放機(jī)制在無(wú)監(jiān)督設(shè)定下容易因偽標(biāo)簽噪聲導(dǎo)致錯(cuò)誤累積。為此，本文設(shè)計(jì)了DCB模塊，它包含一個(gè)“真實(shí)-偽標(biāo)簽混合回放”策略。其存儲(chǔ)中心分為兩部分：一部分存儲(chǔ)來(lái)自源域（預(yù)訓(xùn)練集）的帶真實(shí)標(biāo)簽的樣本，另一部分存儲(chǔ)來(lái)自過(guò)去個(gè)體的高置信度偽標(biāo)簽樣本。在訓(xùn)練時(shí)，以8:2的比例從真實(shí)標(biāo)簽庫(kù)和偽標(biāo)簽庫(kù)中抽取樣本進(jìn)行混合回放。這種策略既利用真實(shí)標(biāo)簽樣本來(lái)校準(zhǔn)模型、抑制誤差累積，又通過(guò)少量偽標(biāo)簽樣本來(lái)維持樣本多樣性，巧妙地實(shí)現(xiàn)了對(duì)增量學(xué)習(xí)過(guò)程的“懲罰”與規(guī)范。
（3）跨周期對(duì)齊 (CEA)
為了防止模型在適應(yīng)某個(gè)特定個(gè)體（尤其是異常個(gè)體）時(shí)發(fā)生過(guò)擬合，從而損害其長(zhǎng)期穩(wěn)定性和泛化能力，本文提出了CEA模塊。該模塊在模型微調(diào)過(guò)程中，每隔兩個(gè)周期（epoch），就使用KL散度（Kullback-Leibler Divergence）來(lái)對(duì)齊當(dāng)前模型狀態(tài)與兩個(gè)周期前模型狀態(tài)的概率分布。通過(guò)這種方式，CEA能約束模型的更新方向，防止其在學(xué)習(xí)新知識(shí)時(shí)偏離過(guò)多，即使遇到異常個(gè)體數(shù)據(jù)也能保持穩(wěn)定，為后續(xù)的持續(xù)學(xué)習(xí)保留了能力空間，最終同時(shí)提升了模型的穩(wěn)定性和可塑性。
（4）模型損失函數(shù)
模型的總損失函數(shù)由兩部分組成：一部分是針對(duì)當(dāng)前增量個(gè)體和動(dòng)態(tài)置信緩沖模塊中的緩沖樣本的交叉熵?fù)p失，公式如下：
其中：
·： 在動(dòng)態(tài)置信緩沖（DCB）中的樣本上計(jì)算的損失；
·：在當(dāng)前學(xué)習(xí)的新個(gè)體的無(wú)標(biāo)簽數(shù)據(jù)上，利用生成的偽標(biāo)簽計(jì)算的損失；
·：一個(gè)動(dòng)態(tài)調(diào)整的超參數(shù)；
值得注意的是：會(huì)隨著模型見(jiàn)過(guò)的個(gè)體數(shù)量i的增加而逐漸減小，意味著隨著模型學(xué)習(xí)到的知識(shí)越來(lái)越豐富，它會(huì)逐漸變得更加“謹(jǐn)慎”，減少對(duì)新來(lái)的、不確定的偽標(biāo)簽數(shù)據(jù)的依賴，從而幫助模型最終穩(wěn)定下來(lái)。
另一部分是跨周期對(duì)齊CEA模塊計(jì)算的KL散度損失。因此模型的總損失函數(shù)公式如下：
實(shí)驗(yàn)結(jié)果
本文在三個(gè)主流腦電任務(wù)的公共數(shù)據(jù)集上（睡眠分期ISRUC，情緒識(shí)別FACED，運(yùn)動(dòng)想象Physionet-MI）對(duì)BrainUICL框架進(jìn)行了全面評(píng)估。
總體性能如圖3所示，與初始模型相比，BrainUICL在不斷適應(yīng)新個(gè)體的過(guò)程中，不僅顯著提升了對(duì)新個(gè)體的適應(yīng)能力（可塑性，例如在ISRUC和FACED數(shù)據(jù)集上，平均MF1分別提升了13.4%和19.5%），還持續(xù)增強(qiáng)了對(duì)未見(jiàn)泛化集的性能（穩(wěn)定性，例如在FACED數(shù)據(jù)集上，AAA指標(biāo)從24.0%提升到36.5%），實(shí)現(xiàn)了雙贏。
圖3 BrainUICL在三個(gè)下游EEG任務(wù)上的性能
與多種現(xiàn)有的UDA、CL和UCDA方法性能比較如圖4所示，BrainUICL在三個(gè)數(shù)據(jù)集上都表現(xiàn)出最優(yōu)的穩(wěn)定性和魯棒性。
圖4 與現(xiàn)有UDA、CL和UCDA方法的性能比較
結(jié)論
本文針對(duì)真實(shí)世界腦電應(yīng)用中模型泛化能力不足的痛點(diǎn)，提出了一個(gè)新穎的無(wú)監(jiān)督個(gè)體持續(xù)學(xué)習(xí)（UICL）范式，并設(shè)計(jì)了BrainUICL框架以有效應(yīng)對(duì)該范式下的SP困境挑戰(zhàn)。通過(guò)創(chuàng)新的動(dòng)態(tài)置信緩沖（DCB）和跨周期對(duì)齊（CEA）模塊，BrainUICL能夠在無(wú)需人工標(biāo)注的情況下，持續(xù)地從新個(gè)體數(shù)據(jù)中進(jìn)行學(xué)習(xí)，不僅能很好地適應(yīng)新個(gè)體，還能不斷提升對(duì)所有未見(jiàn)個(gè)體的泛化能力，最終成長(zhǎng)為一個(gè)更魯棒、更通用的腦電解碼模型。該工作為開(kāi)發(fā)實(shí)用、高效的臨床腦電智能分析系統(tǒng)提供了新的思路和強(qiáng)大的技術(shù)支持。
撰稿人：余淑冰
審稿人：李景聰
