第47屆認知科學年度會議(Cognitive Science Society Annual Conference,簡稱 CogSci 2025)將于 2025 年 7 月 30 日至 8 月 2 日在美國舊金山的Marriott Marquis酒店隆重舉行。CogSci是認知科學領域極具權威性和影響力的國際旗艦會議之一,同時也是CCF(中國計算機學會)和CAAI(中國人工智能學會)推薦的B類會議。在此次會議上,腦機交互與混合智能團隊有4篇研究成果被錄用,取得了豐碩成果。
1.基于先驗提示的多模態(tài)步態(tài)抑郁癥識別框架
2024級研究生徐昱濤在周成菊老師指導下,研究成果《Prior-Prompt-Based GCN for Depression Recognition Through Gait Observation》被錄用為口頭報告并進行全文發(fā)表,基于先驗提示的圖卷積網(wǎng)絡(PP-GCN),通過融合骨架與文本多模態(tài)信息,顯著提升了步態(tài)抑郁癥檢測的準確性。該研究首次將大型語言模型生成的先驗知識與關節(jié)角度特征相結合,為解決傳統(tǒng)方法難以捕捉抑郁癥患者細微步態(tài)差異的難題提供了全新方案。主要貢獻包括:
(1)傳統(tǒng)基于步態(tài)的抑郁癥檢測方法依賴骨架坐標數(shù)據(jù),但抑郁癥患者的步態(tài)特征往往存在擺臂幅度減少、步速緩慢等細微差異,僅憑坐標信息難以精確捕捉,缺乏對先有醫(yī)學先驗知識的有效利用。該框架利用GPT-4生成針對不同身體部位的步態(tài)描述文本,將醫(yī)學先驗知識轉化為可計算的文本特征。再通過骨架-文本特征對齊,強化模型對抑郁相關步態(tài)細節(jié)的敏感性,減少誤判。
圖1 基于生成動作提示模塊(GAP)和角度特征提取模塊(AFM)的PP-GCN網(wǎng)絡框架圖
(2)抑郁癥患者的關節(jié)運動模式與健康人群存在顯著統(tǒng)計學差異,但傳統(tǒng)方法依賴的坐標數(shù)據(jù)難以直接表征這些特征。該框架通過角度特征提取模塊(AFM),以手、肘、膝、足為錨點,計算其與相鄰關節(jié)的余弦相似度,量化動作僵硬程度,將角度信息與坐標數(shù)據(jù)結合,提升模型對于關節(jié)處細微差異的捕捉能力。
(3)在D-Gait數(shù)據(jù)集上的實驗結果表明,PP-GCN框架在抑郁癥步態(tài)識別任務上超過了現(xiàn)有的基于骨架數(shù)據(jù)的單模態(tài)SOTA方法,取得了57.91%的F1-score。通過消融實驗證明了選擇ViT-L/14文本編碼器效果最佳,單獨使用生成動作提示模塊(GAP)或角度特征提取模塊(AFM)時,模型性能均有所下降,雙模塊協(xié)同使召回率提升至73.59%。這一成果為抑郁癥的早期識別與公共場所隱蔽檢測提供了技術支撐,僅需普通攝像頭采集步態(tài),避免傳統(tǒng)腦電、眼動檢測的設備依賴和患者抵觸,結合心理量表評估結果,可輔助醫(yī)生快速篩查高風險人群,緩解醫(yī)療資源壓力。
2.基于多任務EEG和Agent Transformer的抑郁癥篩查研究
2023 級研究生溫奧君在黃海云老師指導下,研究成果《Advancing Adolescent Depression Detection through Multi-Task EEG Signals and Biosignal Learning》被錄用為海報展示并進行全文發(fā)表。該研究提出了一種創(chuàng)新性的多任務框架,通過結合注意力任務和靜息任務的腦電圖(EEG)信號,利用Biosignal Learning和Agent Transformer(BLAT)模型實現(xiàn)了青少年抑郁癥的高效檢測。主要貢獻包括:
(1)該研究通過創(chuàng)新的生物信號標記化模塊,將多通道EEG信號轉換為統(tǒng)一的“sentence”結構,并通過Agent Transformer高效處理這些復雜信號,顯著提升了抑郁癥檢測的準確率。
圖2 BLAT模型架構圖
(2)實驗涉及100名青少年參與者,包括50名抑郁癥患者和50名健康對照組成員。通過BLAT模型對多任務EEG信號進行分類,在獨立測試集上實現(xiàn)了85%的準確率,顯著優(yōu)于其他現(xiàn)有模型。
表1 不同模型的分類性能
(3)研究結果表明,多任務EEG信號的整合能夠捕捉抑郁癥患者與健康對照組之間的細微差異,為早期干預和個性化治療提供了科學依據(jù)。這一成果為青少年抑郁癥的早期篩查提供了新的技術路徑,有望推動相關技術在醫(yī)療領域的廣泛應用。
表2 不同任務組合的分類性能
3. 基于單通道EEG信號的波形感知自動睡眠分期模型
2023 級研究生鄭澤昆在王斐副教授指導下,研究成果《DilatedSleepNet: A Novel EEG Waveform-Aware Model for Single-Channel Automatic Sleep Staging》被錄用為海報展示并進行全文發(fā)表。該研究提出了一種新穎的多尺度膨脹卷積策略,能夠有效捕捉腦電(EEG)信號中的波形特征,實現(xiàn)基于單通道 EEG 輸入的精確睡眠階段分類。主要貢獻如下:
(1)該研究提出了一種基于單通道 EEG 信號的自動睡眠分期方法DilatedSleepNet,該方法在僅使用單通道數(shù)據(jù)的情況下表現(xiàn)出色。具體結構如下圖所示:
圖3 DilatedSleepNet的模型框架圖
(2)我們引入了分層時間膨脹網(wǎng)絡(Hierarchical Temporal Dilation Network)與多尺度時間膨脹集成模塊(Multi-Scale Temporal Dilation Integrator),能夠有效提取睡眠過程中關鍵的頻率信息與頻率轉換特征。標準卷積和膨脹卷積的感受野區(qū)別如下圖所示。
圖4 標準卷積與空洞卷積感受野的對比分析
(3) 我們在三個公開數(shù)據(jù)集上系統(tǒng)評估了 DilatedSleepNet 的性能,如下表所示,模型在各數(shù)據(jù)集上分別達到了 86.8%、83.2% 和 85.4% 的分類準確率。實驗結果表明,DilatedSleepNet 在多個數(shù)據(jù)集上展現(xiàn)出優(yōu)越的泛化能力與魯棒性,為睡眠相關疾病的診斷與研究提供了堅實的技術基礎。
表3 DilatedSleepNet(本研究方法)與其他方法的對比分析
4. 基于多尺度卷積神經(jīng)網(wǎng)絡和對抗判別領域自適應的跨受試者P300腦電解碼研究