該論文收錄在AAAI Conference on Artificial Intelligence 2025(CCF A),題目為《AnchorInv: Few-Shot Class-Incremental Learning of Physiological Signals via Feature Space-Guided Inversion》。
該論文的第一作者是英國牛津大學(xué)工程科學(xué)系的Chenqi Li,通訊作者是Tingting Zhu和Chenqi Li。
論文鏈接:https://ojs.aaai.org/index.php/AAAI/article/view/33563
在生物醫(yī)學(xué)領(lǐng)域,模型通常基于有限數(shù)據(jù)開發(fā),且這些數(shù)據(jù)會隨著新類別的出現(xiàn)而增量到達,要求在少量數(shù)據(jù)支撐下識別新類別的同時,需要保留對舊類別的認(rèn)知且無需重訓(xùn)整個模型。此外,現(xiàn)有少樣本類增量學(xué)習(xí)(FSCIL)方法的評估因其實驗樣本少的特性,對樣本的選擇極為敏感。
論文提出創(chuàng)新策略 AnchorInv,不同于選擇和存儲原始數(shù)據(jù),其在特征空間中的錨點引導(dǎo)下生成合成樣本,既能保護隱私,又能為模型微調(diào)提供正則化。在基礎(chǔ)會話中,訓(xùn)練集被投影到特征空間,各類別錨點存儲在錨點集內(nèi)存中;在增量會話中,錨點集引導(dǎo)模型逆變換過程,生成先前見過類別的代表性樣本,這些逆變換樣本和少樣本訓(xùn)練集隨后被用于微調(diào)骨干網(wǎng)絡(luò),新類別的錨點也會陸續(xù)添加到錨點集內(nèi)存中,供后續(xù)增量會話使用。
本研究在生理時間序列數(shù)據(jù)集BCI-IV 2a、NHIE、GRABMyo上對 AnchorInv 進行了評估,AnchorInv 在 所有增量會話中均取得了最佳的 Macro-F1 分?jǐn)?shù)。AnchorInv的方法框架圖如圖 1所示。
圖1 Anchorinv的框架總覽圖
研究背景
現(xiàn)有的FSCIL方法通?;趦蓚€關(guān)鍵假設(shè):一是擁有大量基類來訓(xùn)練泛化能力強的骨干模型,二是能夠存儲原始樣本以供增量階段使用。但在醫(yī)療場景中,基類數(shù)量通常有限,且直接存儲數(shù)據(jù)會引發(fā)隱私問題。此外,簡單微調(diào)骨干網(wǎng)絡(luò)會導(dǎo)致災(zāi)難性遺忘,而生成對抗網(wǎng)絡(luò)(GAN)等生成式回放方法又存在計算復(fù)雜性和模式坍塌等問題。
近期研究嘗試通過模型反演技術(shù)(如DeepDream和DeepInv)生成合成樣本,但這些方法主要在標(biāo)簽空間進行約束,可能無法充分防止特征空間的偏移。因此,本研究提出了一種基于特征空間錨點引導(dǎo)的反演方法,通過生成多樣化的合成樣本來平衡新舊類別的學(xué)習(xí),同時保護數(shù)據(jù)隱私。這一方法在生理信號數(shù)據(jù)集上表現(xiàn)出色,超越了現(xiàn)有方法的性能。
研究方法
1. 模型推理(Model Inference)
模型推理過程的目的是定義模型對輸入樣本的處理流程,其分為特征提取和分類兩個階段。特征提取階段通過骨干網(wǎng)絡(luò)將維度為H×W(H為通道數(shù),W為時間步)的輸入樣本映射到特征空間,得到維度為D的嵌入向量,即
分類階段采用基于度量的分類器,通過計算嵌入向量與類別原型的相似度進行預(yù)測,其中,相似度函數(shù)s基于負(fù)余弦距離(歸一化后)和溫度參數(shù)T計算:
其中,分類器參數(shù)? k(t )由每個類別的平均嵌入(即原型)替代。
2. 特征空間引導(dǎo)的反轉(zhuǎn)(Feature Space-Guided Inversion)
該模塊是本研究的核心,通過錨點引導(dǎo)生成歷史類別的合成樣本,避免直接存儲原始數(shù)據(jù),正則化模型以防止遺忘,同時實現(xiàn)模型對新類別的高效適應(yīng)。
首先進行錨點選擇,對于每個會話t的訓(xùn)練數(shù)據(jù),通過特征提取器得到特征集,再從特征集中隨機采樣或者通過聚類確定聚類中心選取錨點集:
然后是反轉(zhuǎn)階段,從會話t的選定錨點集中推導(dǎo)出一個重放集:
其用于正則化特征提取器對會話t+1的適應(yīng)。這一推導(dǎo)過程的自然形式化定義使?jié)撛谥胤艠颖镜那度肱c錨點對齊,具體通過最小化算子實現(xiàn):
其中,L代表平均絕對誤差(MAE)。該優(yōu)化可以通過對隨機初始化的重放樣本進行梯度下降來實現(xiàn)。
最后是模型微調(diào),微調(diào)通過新類別損失和歷史類別損失的加權(quán)組合損失實現(xiàn):新類別損失與歷史類別損失分別基于當(dāng)前會話的訓(xùn)練數(shù)據(jù)與所有歷史會話的合成樣本來計算分類交叉熵定義的。通過最小化該損失來更新特征提取骨干網(wǎng)絡(luò)和分類器的參數(shù)。
3. 實驗設(shè)計與結(jié)果
由于少樣本數(shù)據(jù)的隨機性可能導(dǎo)致性能波動,論文采用多試驗評估策略:在每個增量會話中隨機采樣M個訓(xùn)練集,分別訓(xùn)練M個模型副本。實驗設(shè)置具體如圖2所示,a)和b)分別表示現(xiàn)有文獻中的評估流程和本研究采用的評估流程。本研究最終報告這些復(fù)制實驗的均值和標(biāo)準(zhǔn)差。
圖2 FSCIL的評估流程概況
實驗分別在BCI-IV 2a運動想象EEG數(shù)據(jù)集、NHIE新生兒缺氧缺血性腦病EEG分級數(shù)據(jù)集和GRABMyo手勢識別EMG數(shù)據(jù)集上進行,皆采用1-way 10-shot設(shè)置。實驗使用EEG-Conformer作為骨干網(wǎng)絡(luò)。AnchorInv在三個數(shù)據(jù)集的所有增量階段均取得最佳Macro-F1 分?jǐn)?shù),尤其在BCI和NHIE數(shù)據(jù)集上分別比最優(yōu)基線方法提升2.19%和3.24%,具體結(jié)果參見表1:
表1 Anchorinv與基線方法在三個數(shù)據(jù)集上的性能比較
研究對NHIE數(shù)據(jù)集的兩個基類的錨點集和反演樣本的特征向量進行降維可視化(如圖3所示)。結(jié)果表示該方法能精確控制合成樣本在特征空間中的位置,確保其與原始數(shù)據(jù)的統(tǒng)計特性一致,從而有效保留基類知識。
圖3 錨點集與反演樣本在特征空間的可視化對比
消融實驗部分主要研究了AnchorInv方法中關(guān)鍵設(shè)計選擇對最終性能的影響,集中在三個部分:
結(jié)論
本研究針對生理信號少樣本類別增量學(xué)習(xí)(FSCIL)中基礎(chǔ)類別有限及數(shù)據(jù)隱私問題,提出AnchorInv方法。該方法通過特征空間錨點引導(dǎo)生成合成樣本,無需存儲原始數(shù)據(jù),在保護隱私的同時緩解災(zāi)難性遺忘。實驗在BCI、NHIE和GRABMyo三個生理數(shù)據(jù)集上進行,結(jié)果顯示AnchorInv在各會話中均優(yōu)于現(xiàn)有基線方法,尤其在基礎(chǔ)類別有限時表現(xiàn)突出,有效平衡了歷史知識保留與新類別適應(yīng),為生理信號增量學(xué)習(xí)提供了高效解決方案。
撰稿人:陳浩
審稿人:李景聰