91一级特黄大片|婷婷中文字幕在线|av成人无码国产|日韩无码一二三区|久久不射强奸视频|九九九久久久精品|国产免费浮力限制

AAAI 2025 | AnchorInv:基于特征空間引導(dǎo)逆變換的生理信號少樣本類別增量學(xué)習(xí)

該論文收錄在AAAI Conference on Artificial Intelligence 2025(CCF A),題目為《AnchorInv: Few-Shot Class-Incremental Learning of Physiological Signals via Feature Space-Guided Inversion》。

該論文的第一作者是英國牛津大學(xué)工程科學(xué)系的Chenqi Li,通訊作者是Tingting Zhu和Chenqi Li。

論文鏈接:https://ojs.aaai.org/index.php/AAAI/article/view/33563

論文概要

在生物醫(yī)學(xué)領(lǐng)域,模型通常基于有限數(shù)據(jù)開發(fā),且這些數(shù)據(jù)會隨著新類別的出現(xiàn)而增量到達,要求在少量數(shù)據(jù)支撐下識別新類別的同時,需要保留對舊類別的認(rèn)知且無需重訓(xùn)整個模型。此外,現(xiàn)有少樣本類增量學(xué)習(xí)(FSCIL)方法的評估因其實驗樣本少的特性,對樣本的選擇極為敏感。

論文提出創(chuàng)新策略 AnchorInv,不同于選擇和存儲原始數(shù)據(jù),其在特征空間中的錨點引導(dǎo)下生成合成樣本,既能保護隱私,又能為模型微調(diào)提供正則化。在基礎(chǔ)會話中,訓(xùn)練集被投影到特征空間,各類別錨點存儲在錨點集內(nèi)存中;在增量會話中,錨點集引導(dǎo)模型逆變換過程,生成先前見過類別的代表性樣本,這些逆變換樣本和少樣本訓(xùn)練集隨后被用于微調(diào)骨干網(wǎng)絡(luò),新類別的錨點也會陸續(xù)添加到錨點集內(nèi)存中,供后續(xù)增量會話使用。

本研究在生理時間序列數(shù)據(jù)集BCI-IV 2a、NHIE、GRABMyo上對 AnchorInv 進行了評估,AnchorInv 在 所有增量會話中均取得了最佳的 Macro-F1 分?jǐn)?shù)。AnchorInv的方法框架圖如圖 1所示。

圖1 Anchorinv的框架總覽圖

研究背景

現(xiàn)有的FSCIL方法通?;趦蓚€關(guān)鍵假設(shè):一是擁有大量基類來訓(xùn)練泛化能力強的骨干模型,二是能夠存儲原始樣本以供增量階段使用。但在醫(yī)療場景中,基類數(shù)量通常有限,且直接存儲數(shù)據(jù)會引發(fā)隱私問題。此外,簡單微調(diào)骨干網(wǎng)絡(luò)會導(dǎo)致災(zāi)難性遺忘,而生成對抗網(wǎng)絡(luò)(GAN)等生成式回放方法又存在計算復(fù)雜性和模式坍塌等問題。

近期研究嘗試通過模型反演技術(shù)(如DeepDream和DeepInv)生成合成樣本,但這些方法主要在標(biāo)簽空間進行約束,可能無法充分防止特征空間的偏移。因此,本研究提出了一種基于特征空間錨點引導(dǎo)的反演方法,通過生成多樣化的合成樣本來平衡新舊類別的學(xué)習(xí),同時保護數(shù)據(jù)隱私。這一方法在生理信號數(shù)據(jù)集上表現(xiàn)出色,超越了現(xiàn)有方法的性能。

研究方法

1. 模型推理(Model Inference)

模型推理過程的目的是定義模型對輸入樣本的處理流程,其分為特征提取和分類兩個階段。特征提取階段通過骨干網(wǎng)絡(luò)將維度為H×W(H為通道數(shù),W為時間步)的輸入樣本映射到特征空間,得到維度為D的嵌入向量,即

分類階段采用基于度量的分類器,通過計算嵌入向量與類別原型的相似度進行預(yù)測,其中,相似度函數(shù)s基于負(fù)余弦距離(歸一化后)和溫度參數(shù)T計算:

其中,分類器參數(shù)? k(t )由每個類別的平均嵌入(即原型)替代。

2. 特征空間引導(dǎo)的反轉(zhuǎn)(Feature Space-Guided Inversion)

該模塊是本研究的核心,通過錨點引導(dǎo)生成歷史類別的合成樣本,避免直接存儲原始數(shù)據(jù),正則化模型以防止遺忘,同時實現(xiàn)模型對新類別的高效適應(yīng)。

首先進行錨點選擇,對于每個會話t的訓(xùn)練數(shù)據(jù),通過特征提取器得到特征集,再從特征集中隨機采樣或者通過聚類確定聚類中心選取錨點集:

然后是反轉(zhuǎn)階段,從會話t的選定錨點集中推導(dǎo)出一個重放集:

其用于正則化特征提取器對會話t+1的適應(yīng)。這一推導(dǎo)過程的自然形式化定義使?jié)撛谥胤艠颖镜那度肱c錨點對齊,具體通過最小化算子實現(xiàn):

其中,L代表平均絕對誤差(MAE)。該優(yōu)化可以通過對隨機初始化的重放樣本進行梯度下降來實現(xiàn)。

最后是模型微調(diào),微調(diào)通過新類別損失和歷史類別損失的加權(quán)組合損失實現(xiàn):新類別損失與歷史類別損失分別基于當(dāng)前會話的訓(xùn)練數(shù)據(jù)與所有歷史會話的合成樣本來計算分類交叉熵定義的。通過最小化該損失來更新特征提取骨干網(wǎng)絡(luò)和分類器的參數(shù)。

3. 實驗設(shè)計與結(jié)果

由于少樣本數(shù)據(jù)的隨機性可能導(dǎo)致性能波動,論文采用多試驗評估策略:在每個增量會話中隨機采樣M個訓(xùn)練集,分別訓(xùn)練M個模型副本。實驗設(shè)置具體如圖2所示,a)和b)分別表示現(xiàn)有文獻中的評估流程和本研究采用的評估流程。本研究最終報告這些復(fù)制實驗的均值和標(biāo)準(zhǔn)差。

圖2 FSCIL的評估流程概況

實驗分別在BCI-IV 2a運動想象EEG數(shù)據(jù)集、NHIE新生兒缺氧缺血性腦病EEG分級數(shù)據(jù)集和GRABMyo手勢識別EMG數(shù)據(jù)集上進行,皆采用1-way 10-shot設(shè)置。實驗使用EEG-Conformer作為骨干網(wǎng)絡(luò)。AnchorInv在三個數(shù)據(jù)集的所有增量階段均取得最佳Macro-F1 分?jǐn)?shù),尤其在BCI和NHIE數(shù)據(jù)集上分別比最優(yōu)基線方法提升2.19%和3.24%,具體結(jié)果參見表1:

表1 Anchorinv與基線方法在三個數(shù)據(jù)集上的性能比較

研究對NHIE數(shù)據(jù)集的兩個基類的錨點集和反演樣本的特征向量進行降維可視化(如圖3所示)。結(jié)果表示該方法能精確控制合成樣本在特征空間中的位置,確保其與原始數(shù)據(jù)的統(tǒng)計特性一致,從而有效保留基類知識。

圖3 錨點集與反演樣本在特征空間的可視化對比

消融實驗部分主要研究了AnchorInv方法中關(guān)鍵設(shè)計選擇對最終性能的影響,集中在三個部分:

  1. 基類錨點選擇策略的比較:錨點策略需要根據(jù)數(shù)據(jù)特性調(diào)整,但簡單的隨機采樣在多數(shù)情況下已足夠魯棒。
  2. 增量階段訓(xùn)練樣本數(shù)量K的影響測試:當(dāng)K≥10時模型性能趨于穩(wěn)定,說明少量樣本(10-shot)已能提供足夠的增量學(xué)習(xí)信息,符合實際應(yīng)用中數(shù)據(jù)稀缺的場景設(shè)定。
  3. 基類錨點數(shù)量P的作用:性能隨P增加而提升,當(dāng)P≥50時趨于飽和,說明保留適量錨點即可有效表征基類分布,過度增加并不能帶來顯著增益。

結(jié)論

本研究針對生理信號少樣本類別增量學(xué)習(xí)(FSCIL)中基礎(chǔ)類別有限及數(shù)據(jù)隱私問題,提出AnchorInv方法。該方法通過特征空間錨點引導(dǎo)生成合成樣本,無需存儲原始數(shù)據(jù),在保護隱私的同時緩解災(zāi)難性遺忘。實驗在BCI、NHIE和GRABMyo三個生理數(shù)據(jù)集上進行,結(jié)果顯示AnchorInv在各會話中均優(yōu)于現(xiàn)有基線方法,尤其在基礎(chǔ)類別有限時表現(xiàn)突出,有效平衡了歷史知識保留與新類別適應(yīng),為生理信號增量學(xué)習(xí)提供了高效解決方案。

撰稿人:陳浩

審稿人:李景聰


登錄用戶可以查看和發(fā)表評論, 請前往  登錄 或  注冊。
SCHOLAT.com 學(xué)者網(wǎng)
免責(zé)聲明 | 關(guān)于我們 | 用戶反饋
聯(lián)系我們: