134
0
0
2025-05-23 10:13:52
2025-05-24
近日，華南理工大學(xué)生物醫(yī)學(xué)科學(xué)與工程學(xué)院吳凱教授團(tuán)隊(duì)在《Advanced Science》上發(fā)表創(chuàng)新研究成果，提出支持多模態(tài)腦機(jī)接口（BCI）與腦體交互研究的軟件框架BrainFusion。該框架以“低代碼、可重復(fù)、可部署”為核心，通過(guò)系統(tǒng)性整合數(shù)據(jù)標(biāo)準(zhǔn)化、跨模態(tài)分析、智能建模與快速應(yīng)用生成等功能，為腦科學(xué)及神經(jīng)工程領(lǐng)域的研究者提供了一站式解決方案。
傳統(tǒng)腦機(jī)接口研究依賴(lài)單一腦電信號(hào)（EEG），復(fù)雜場(chǎng)景下信號(hào)易受干擾且信息維度有限。隨著EEG與近紅外（fNIRS）、心電（ECG）、肌電（EMG）等多模態(tài)信號(hào)的融合成為趨勢(shì)，分析流程碎片化、跨模態(tài)數(shù)據(jù)對(duì)齊復(fù)雜、算法部署門(mén)檻高等問(wèn)題日益凸顯。BrainFusion通過(guò)構(gòu)建標(biāo)準(zhǔn)化數(shù)據(jù)容器，實(shí)現(xiàn)EEG、fNIRS、ECG和EMG信號(hào)的自動(dòng)化預(yù)處理與跨模態(tài)特征對(duì)齊，并創(chuàng)新性開(kāi)發(fā)神經(jīng)血管耦合、心腦交互等動(dòng)態(tài)分析模塊，為探索腦與外周系統(tǒng)的復(fù)雜關(guān)聯(lián)提供統(tǒng)一平臺(tái)。研究團(tuán)隊(duì)進(jìn)一步推出“拖拽式”低代碼工作流設(shè)計(jì)界面，用戶(hù)無(wú)需編程即可構(gòu)建從數(shù)據(jù)清洗、特征提取到機(jī)器學(xué)習(xí)建模的全流程，顯著降低多模態(tài)信號(hào)分析的技術(shù)門(mén)檻。
圖1. BrainFusion的主要功能和特點(diǎn)
為揭示腦與軀體信號(hào)的動(dòng)態(tài)關(guān)聯(lián)，BrainFusion開(kāi)發(fā)了多模態(tài)耦合分析模塊，涵蓋神經(jīng)血管耦合（NVC）、心腦交互（HBI）和皮質(zhì)肌肉相干性（CMC）等經(jīng)典范式。例如，在運(yùn)動(dòng)想象任務(wù)中，系統(tǒng)可將EEG的C3電極功率譜與對(duì)應(yīng)fNIRS通道的血氧響應(yīng)進(jìn)行卷積建模，動(dòng)態(tài)追蹤任務(wù)相關(guān)的神經(jīng)-血流耦合強(qiáng)度，并通過(guò)統(tǒng)計(jì)檢驗(yàn)量化不同腦區(qū)的協(xié)同機(jī)制。這一功能為探索腦卒中康復(fù)、情緒調(diào)控等復(fù)雜生理機(jī)制提供了新工具。
圖2. BrainFusion的多模態(tài)生理信號(hào)處理工作流程
腦電圖、fNIRS、肌電圖和心電圖等信號(hào)的原始數(shù)據(jù)被組織在一個(gè)標(biāo)準(zhǔn)化的數(shù)據(jù)容器中。信號(hào)經(jīng)過(guò)特定模態(tài)預(yù)處理，然后通過(guò)時(shí)域(TDA)、頻域(FDA)和時(shí)頻(TFDA)分析以及網(wǎng)絡(luò)和非線(xiàn)性方法在多個(gè)分析域進(jìn)行特征提取。通過(guò)多模態(tài)動(dòng)態(tài)耦合分析引擎(MDCAE)，NVC、CMC和HBI等動(dòng)態(tài)耦合指標(biāo)得以計(jì)算和可視化。
針對(duì)傳統(tǒng)多模態(tài)分析對(duì)編程能力的依賴(lài)，BrainFusion設(shè)計(jì)了可視化流程構(gòu)建系統(tǒng)。研究者可通過(guò)拖拽8類(lèi)功能節(jié)點(diǎn)，以“搭積木”方式自由組合分析流程。系統(tǒng)底層通過(guò)有向無(wú)環(huán)圖（DAG）規(guī)則自動(dòng)校驗(yàn)節(jié)點(diǎn)邏輯，防止循環(huán)依賴(lài)與接口沖突。
BrainFusion的應(yīng)用生成器模塊是其走向產(chǎn)業(yè)轉(zhuǎn)化的關(guān)鍵。研究者在驗(yàn)證算法后，可通過(guò)配置輸入輸出參數(shù)，將完整分析流程編譯為獨(dú)立可執(zhí)行程序（.exe）。該程序封裝了所有依賴(lài)庫(kù)，并配備GUI界面實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入、結(jié)果可視化與歷史記錄管理。
圖3. BrainFusion三個(gè)主要功能模塊
(A)一鍵式工作流設(shè)計(jì)器包括用于拖放工作流配置的用戶(hù)界面層、用于確保符合DAG結(jié)構(gòu)和節(jié)點(diǎn)連接驗(yàn)證的連接層，以及由模塊化功能節(jié)點(diǎn)組成的執(zhí)行層。(B)機(jī)器學(xué)習(xí)擴(kuò)展框架支持基于AutoML的傳統(tǒng)模型選擇、深度學(xué)習(xí)基準(zhǔn)測(cè)試以及通過(guò)外部模型接口集成用戶(hù)自定義模型。(C)應(yīng)用程序生成器可將工作流轉(zhuǎn)換為帶有圖形用戶(hù)界面的獨(dú)立可執(zhí)行應(yīng)用程序，從而實(shí)現(xiàn)快速部署和演示。
在應(yīng)用驗(yàn)證中，BrainFusion展現(xiàn)出卓越性能。通過(guò)融合EEG與近紅外信號(hào)的運(yùn)動(dòng)想象分類(lèi)任務(wù)，研究團(tuán)隊(duì)在29名受試者中實(shí)現(xiàn)95.5%的被試內(nèi)分類(lèi)準(zhǔn)確率，較單一模態(tài)提升超30%；在睡眠分期分析中，基于EEG與心電信號(hào)的深度學(xué)習(xí)模型準(zhǔn)確率達(dá)80.2%，并通過(guò)內(nèi)置“應(yīng)用生成器”快速部署為可執(zhí)行臨床工具，為睡眠障礙實(shí)時(shí)監(jiān)測(cè)提供新路徑。這些案例證實(shí)了該框架在快速?gòu)?fù)現(xiàn)以及加速科研轉(zhuǎn)化方面的價(jià)值。
圖4. 睡眠分期分類(lèi)結(jié)果及生成的應(yīng)用
(A)四種深度學(xué)習(xí)模型在HMC數(shù)據(jù)集上的性能比較，顯示了總體準(zhǔn)確率、宏觀平均F1分?jǐn)?shù)（mF1）和各睡眠階段（Wake、N1、N2、N3、REM）的單個(gè)F1分?jǐn)?shù)的平均值±標(biāo)準(zhǔn)差（SD）。所有指標(biāo)均為5倍交叉驗(yàn)證的平均值。誤差條表示平均值的一個(gè)SD值。(B)生成的應(yīng)用原型的用戶(hù)界面，支持睡眠階段預(yù)測(cè)、概率得分可視化和歷史推理跟蹤。
BrainFusion的誕生源于團(tuán)隊(duì)對(duì)腦科學(xué)領(lǐng)域技術(shù)需求的長(zhǎng)期觀察。當(dāng)前多數(shù)分析工具局限于單一模態(tài)或依賴(lài)編程實(shí)現(xiàn)，而臨床場(chǎng)景亟需兼顧多維度生理信息解讀與易用性的解決方案。BrainFusion通過(guò)將復(fù)雜算法封裝為可視化模塊，既滿(mǎn)足前沿研究的靈活性需求，又為醫(yī)生、康復(fù)師等非技術(shù)背景用戶(hù)提供“開(kāi)箱即用”的支持。目前，研究團(tuán)隊(duì)正與多家醫(yī)院合作，探索該框架在卒中康復(fù)、情緒障礙評(píng)估等場(chǎng)景的臨床應(yīng)用，并計(jì)劃擴(kuò)展呼吸、皮膚電等新模態(tài)支持，深化對(duì)腦體交互機(jī)制的理解。
華南理工大學(xué)生物醫(yī)學(xué)科學(xué)與工程學(xué)院的吳凱教授為論文通訊作者，華南理工大學(xué)生物醫(yī)學(xué)工程專(zhuān)業(yè)博士研究生李文豪為論文第一作者。本研究得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃（2023YFC2414500，2023YFC2414504）、國(guó)家自然科學(xué)基金（81971585，72174082，82271953，82301688）及廣東省自然科學(xué)基金杰出青年基金（2021B1515020064）等項(xiàng)目的資助。
近年來(lái)，吳凱教授團(tuán)隊(duì)聚焦于多模態(tài)腦機(jī)接口技術(shù)、腦疾病神經(jīng)影像分析以及智能輔助診斷算法領(lǐng)域展開(kāi)了一系列創(chuàng)新研究，涵蓋腦-體交互軟件框架開(kāi)發(fā)、精神疾病生物標(biāo)志物挖掘、神經(jīng)血管功能適應(yīng)性機(jī)制解析、心電信號(hào)智能診斷等核心方向，相關(guān)成果發(fā)表于Advanced Science、Journal of Affective Disorders、IEEE Transactions on Neural Systems and Rehabilitation Engineering、Biomedical Signal Processing and Control等國(guó)際知名學(xué)術(shù)期刊。
課題組前期相關(guān)論文：
[1] Wenhao Li , Chenyang Gao, Zhaobo Li, Yunheng Diao, Jiaxin Li, Jiayi Zhou, Jing Zhou, Ying Peng, Guanchu Chen, Xuechen Wu, Kai Wu*. BrainFusion: A Low-Code, Reproducible, and Deployable Software Framework for Multimodal Brain?Computer Interface and Brain?Body Interaction Research. Advanced Science, In Press.
[2] Jiaxin Li, Dongsheng Xiong, Chenyang Gao, Yuanyuan Huang, Zhaobo Li, Jing Zhou, Yuping Ning, Fengchun Wu*, Kai Wu*. Individualized Spectral Features in First-episode and Drug-naïve Major Depressive Disorder: Insights from Periodic and Aperiodic EEG Analysis. Biological Psychiatry: Cognitive Neuroscience and Neuroimaging,2025, In Press.
[3] Chenyang Gao△, Haishun Huang△, Jinan Zhan, Wenhao Li, Yi Li, Jiaxin Li, Jing Zhou, Yuxin Wang, Zhile Jiang, Wenrui Chen, Yingting Zhu*, Yehong Zhuo*, Kai Wu*.Adaptive Changes in Neurovascular Properties With Binocular Accommodation Functions in Myopic Participants by 3D Visual Training: An EEG and fNIRS Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024(32): 2749-2758.
[4] Yunheng Diao△, Huiying Wang△, Xinyu Wang△, Chen Qiu, Zitian Wang, Ziyang Ji, Chao Wang, Jingyang Gu, Cong Liu, Kai Wu*, Changhong Wang*. Discriminative analysis of schizophrenia and major depressive disorder using fNIRS. Journal of Affective Disorders, 2024(361): 256-267.
[5] Guixiang Li, Dequn Huang, Lei Wang, Jing Zhou, Jun Chen*, Kai Wu*, Weikang Xu*. A new method of detecting the characteristic waves and their onset and end in electrocardiogram signals. Biomedical Signal Processing and Control, 2022, 75:103607.
[6] Bingye Lei, Fengchun Wu, Jing Zhou, Dongsheng Xiong, Kaixi Wang, Lingyin Kong, Pengfei Ke, Jun Chen, Yuping Ning, Xiaobo Li, Zhiming Xiang, Kai Wu*. NEURO-LEARN: A Solution for Collaborative Pattern Analysis of Neuroimaging Data. Neuroinformatics, 2021(19):79-91.
