198
0
2025-06-22
2025-06-22
該論文發(fā)表于International Conference on Learning Representations 2025（CCF A），題目為《BrainUICL: An Unsupervised Individual Continual Learning Framework for EEG Applications》。
浙江大學(xué)的周陽軒為此文第一作者，浙江大學(xué)的趙莎研究員為此文的通訊作者。
論文鏈接：https://openreview.net/pdf?id=6jjAYmppGQ
腦電圖（EEG）是一種非侵入式腦機(jī)接口技術(shù)，在臨床診斷、睡眠階段識別、情緒識別等領(lǐng)域有廣泛應(yīng)用。然而，現(xiàn)有的EEG模型在臨床實(shí)踐中面臨個(gè)體差異大、新患者不斷涌現(xiàn)的挑戰(zhàn)，導(dǎo)致泛化能力不足。為此，本文提出了一種無監(jiān)督個(gè)體持續(xù)學(xué)習(xí)框架（BrainUICL），使模型能在無需標(biāo)簽的前提下持續(xù)適應(yīng)新個(gè)體的同時(shí)保持對歷史和未來個(gè)體的泛化能力。通過動態(tài)自信緩沖區(qū)（Dynamic Confident Buffer, DCB）和跨周期對齊（Cross Epoch Alignment, CEA）模塊，平衡模型的可塑性（適應(yīng)新個(gè)體）和穩(wěn)定性（保持對未見個(gè)體的泛化能力）。實(shí)驗(yàn)表明，BrainUICL在睡眠分期、情緒識別和運(yùn)動想象三種主流EEG任務(wù)中均顯著優(yōu)于現(xiàn)有方法。BrainUICL框架工作流如圖1。
圖1 BrainUICL框架工作流
研究背景
腦電技術(shù)因其無創(chuàng)和高時(shí)間分辨率的特性，在臨床實(shí)踐中扮演著重要角色。然而，現(xiàn)有腦電模型在真實(shí)世界應(yīng)用中表現(xiàn)不佳。主要挑戰(zhàn)在于：
這些問題促使研究者尋求新的解決方案。持續(xù)學(xué)習(xí)（Continual Learning, CL）允許模型從連續(xù)的數(shù)據(jù)流中學(xué)習(xí)，是解決此問題的理想途徑。然而，CL的核心挑戰(zhàn)在于平衡“穩(wěn)定性-可塑性（Stability-Plasticity, SP）”困境：既要讓模型有效適應(yīng)新個(gè)體（高的可塑性），又要防止其在適應(yīng)過程中遺忘已有知識，并保持對所有未見個(gè)體的泛化能力（好的穩(wěn)定性）。
研究方法
本文提出了一種面向腦電圖應(yīng)用的無監(jiān)督個(gè)體持續(xù)學(xué)習(xí)框架（BrainUICL），旨在解決無監(jiān)督個(gè)體持續(xù)學(xué)習(xí)場景下的上述挑戰(zhàn)。其核心思想是讓模型在逐個(gè)適應(yīng)無標(biāo)簽的新個(gè)體時(shí)，不僅表現(xiàn)出良好的適應(yīng)性（可塑性），還能不斷積累知識，最終成為一個(gè)對所有未見個(gè)體都具有強(qiáng)大泛化能力的“通用專家”。
實(shí)驗(yàn)所用的數(shù)據(jù)集均被劃分為預(yù)訓(xùn)練集、增量集和泛化集三個(gè)部分，遵循約3:5:2的比例。預(yù)訓(xùn)練集由多個(gè)帶真實(shí)標(biāo)簽的個(gè)體數(shù)據(jù)組成，這部分?jǐn)?shù)據(jù)用于預(yù)訓(xùn)練，得到一個(gè)初始的增量模型；增量集由大量無標(biāo)簽的、持續(xù)到來的新個(gè)體數(shù)據(jù)組成，模型需要在這個(gè)數(shù)據(jù)流上逐個(gè)進(jìn)行無監(jiān)督的個(gè)體域適應(yīng)，這部分?jǐn)?shù)據(jù)主要用于評估模型的可塑性 (Plasticity)，即適應(yīng)新個(gè)體的能力；泛化集由另一組帶真實(shí)標(biāo)簽的未見個(gè)體數(shù)據(jù)組成，在模型每完成一輪對增量集中個(gè)體的適應(yīng)后，都會在這個(gè)集合上進(jìn)行測試，以評估其穩(wěn)定性 (Stability)，即對所有未知個(gè)體的泛化能力。無監(jiān)督個(gè)體持續(xù)學(xué)習(xí)的過程如圖2所示。
圖2 無監(jiān)督個(gè)體持續(xù)學(xué)習(xí)的過程
BrainUICL框架主要由以下幾個(gè)關(guān)鍵模塊組成：
（1）SSL訓(xùn)練生成偽標(biāo)簽
由于新流入的個(gè)體數(shù)據(jù)沒有標(biāo)簽，模型首先需要為它們生成高質(zhì)量的偽標(biāo)簽。考慮到傳統(tǒng)聚類方法對低信噪比的腦電信號效果不佳，BrainUICL采用對比預(yù)測編碼（Contrastive Predictive Coding, CPC）自監(jiān)督學(xué)習(xí)算法對一個(gè)“指導(dǎo)模型”（拷貝最新的增量模型）進(jìn)行微調(diào)。通過這種方式，指導(dǎo)模型能初步適應(yīng)新個(gè)體的數(shù)據(jù)分布，從而生成置信度更高、質(zhì)量更好的偽標(biāo)簽，用于后續(xù)的模型適配訓(xùn)練。
（2）動態(tài)置信緩沖 (DCB)
為防止在持續(xù)學(xué)習(xí)中發(fā)生“災(zāi)難性遺忘”，BrainUICL采用了基于重放（rehearsal-based）的策略。但傳統(tǒng)的樣本回放機(jī)制在無監(jiān)督設(shè)定下容易因偽標(biāo)簽噪聲導(dǎo)致錯(cuò)誤累積。為此，本文設(shè)計(jì)了DCB模塊，它包含一個(gè)“真實(shí)-偽標(biāo)簽混合回放”策略。其存儲中心分為兩部分：一部分存儲來自源域（預(yù)訓(xùn)練集）的帶真實(shí)標(biāo)簽的樣本，另一部分存儲來自過去個(gè)體的高置信度偽標(biāo)簽樣本。在訓(xùn)練時(shí)，以8:2的比例從真實(shí)標(biāo)簽庫和偽標(biāo)簽庫中抽取樣本進(jìn)行混合回放。這種策略既利用真實(shí)標(biāo)簽樣本來校準(zhǔn)模型、抑制誤差累積，又通過少量偽標(biāo)簽樣本來維持樣本多樣性，巧妙地實(shí)現(xiàn)了對增量學(xué)習(xí)過程的“懲罰”與規(guī)范。
（3）跨周期對齊 (CEA)
為了防止模型在適應(yīng)某個(gè)特定個(gè)體（尤其是異常個(gè)體）時(shí)發(fā)生過擬合，從而損害其長期穩(wěn)定性和泛化能力，本文提出了CEA模塊。該模塊在模型微調(diào)過程中，每隔兩個(gè)周期（epoch），就使用KL散度（Kullback-Leibler Divergence）來對齊當(dāng)前模型狀態(tài)與兩個(gè)周期前模型狀態(tài)的概率分布。通過這種方式，CEA能約束模型的更新方向，防止其在學(xué)習(xí)新知識時(shí)偏離過多，即使遇到異常個(gè)體數(shù)據(jù)也能保持穩(wěn)定，為后續(xù)的持續(xù)學(xué)習(xí)保留了能力空間，最終同時(shí)提升了模型的穩(wěn)定性和可塑性。
（4）模型損失函數(shù)
模型的總損失函數(shù)由兩部分組成：一部分是針對當(dāng)前增量個(gè)體和動態(tài)置信緩沖模塊中的緩沖樣本的交叉熵?fù)p失，公式如下：
其中：
·： 在動態(tài)置信緩沖（DCB）中的樣本上計(jì)算的損失；
·：在當(dāng)前學(xué)習(xí)的新個(gè)體的無標(biāo)簽數(shù)據(jù)上，利用生成的偽標(biāo)簽計(jì)算的損失；
·：一個(gè)動態(tài)調(diào)整的超參數(shù)；
值得注意的是：會隨著模型見過的個(gè)體數(shù)量i的增加而逐漸減小，意味著隨著模型學(xué)習(xí)到的知識越來越豐富，它會逐漸變得更加“謹(jǐn)慎”，減少對新來的、不確定的偽標(biāo)簽數(shù)據(jù)的依賴，從而幫助模型最終穩(wěn)定下來。
另一部分是跨周期對齊CEA模塊計(jì)算的KL散度損失。因此模型的總損失函數(shù)公式如下：
實(shí)驗(yàn)結(jié)果
本文在三個(gè)主流腦電任務(wù)的公共數(shù)據(jù)集上（睡眠分期ISRUC，情緒識別FACED，運(yùn)動想象Physionet-MI）對BrainUICL框架進(jìn)行了全面評估。
總體性能如圖3所示，與初始模型相比，BrainUICL在不斷適應(yīng)新個(gè)體的過程中，不僅顯著提升了對新個(gè)體的適應(yīng)能力（可塑性，例如在ISRUC和FACED數(shù)據(jù)集上，平均MF1分別提升了13.4%和19.5%），還持續(xù)增強(qiáng)了對未見泛化集的性能（穩(wěn)定性，例如在FACED數(shù)據(jù)集上，AAA指標(biāo)從24.0%提升到36.5%），實(shí)現(xiàn)了雙贏。
圖3 BrainUICL在三個(gè)下游EEG任務(wù)上的性能
與多種現(xiàn)有的UDA、CL和UCDA方法性能比較如圖4所示，BrainUICL在三個(gè)數(shù)據(jù)集上都表現(xiàn)出最優(yōu)的穩(wěn)定性和魯棒性。
圖4 與現(xiàn)有UDA、CL和UCDA方法的性能比較
結(jié)論
本文針對真實(shí)世界腦電應(yīng)用中模型泛化能力不足的痛點(diǎn)，提出了一個(gè)新穎的無監(jiān)督個(gè)體持續(xù)學(xué)習(xí)（UICL）范式，并設(shè)計(jì)了BrainUICL框架以有效應(yīng)對該范式下的SP困境挑戰(zhàn)。通過創(chuàng)新的動態(tài)置信緩沖（DCB）和跨周期對齊（CEA）模塊，BrainUICL能夠在無需人工標(biāo)注的情況下，持續(xù)地從新個(gè)體數(shù)據(jù)中進(jìn)行學(xué)習(xí)，不僅能很好地適應(yīng)新個(gè)體，還能不斷提升對所有未見個(gè)體的泛化能力，最終成長為一個(gè)更魯棒、更通用的腦電解碼模型。該工作為開發(fā)實(shí)用、高效的臨床腦電智能分析系統(tǒng)提供了新的思路和強(qiáng)大的技術(shù)支持。
撰稿人：余淑冰
審稿人：李景聰
