297
0
2025-07-28
2025-07-28
該論文發(fā)表于IEEE Journal of Translational Engineering in Health and Medicine (中科院二區(qū)，IF=3.8)，題目為《Fusion of Multi-Task Neurophysiological Data to Enhance the Detection of AttentionDeficit/Hyperactivity Disorder》。
復(fù)旦大學(xué)附屬兒科醫(yī)院兒童保健科的張凱峰為此論文的第一作者，國(guó)立中央大學(xué)生物醫(yī)學(xué)科學(xué)與工程系的陳春川為此論文的通訊作者。
論文鏈接：https://ieeexplore.ieee.org/document/10614196
注意力缺陷/多動(dòng)障礙（ADHD）是一種常見(jiàn)的兒童期神經(jīng)發(fā)育障礙，癥狀主要為注意力不集中、多動(dòng)和沖動(dòng)行為，可能對(duì)學(xué)習(xí)和社交產(chǎn)生長(zhǎng)期負(fù)面影響。目前，ADHD 的診斷主要依賴于行為觀察和主觀評(píng)分，這種方法存在診斷延遲和誤診率高的問(wèn)題。因此，開(kāi)發(fā)一種客觀、高效的早期診斷方法顯得尤為重要。本文的核心內(nèi)容是探索如何通過(guò)融合多任務(wù)神經(jīng)生理數(shù)據(jù)來(lái)提高ADHD的檢測(cè)準(zhǔn)確率。研究招募了49名ADHD兒童和32名典型發(fā)育兒童，年齡在6至12歲之間。實(shí)驗(yàn)中使用虛擬現(xiàn)實(shí)（VR）技術(shù)，開(kāi)發(fā)了一個(gè)模擬虛擬教室的環(huán)境，并設(shè)計(jì)了三種不同難度的任務(wù)（視覺(jué)CPT、聽(tīng)覺(jué)CPT和視覺(jué)+聽(tīng)覺(jué)CPT），以評(píng)估兒童在任務(wù)執(zhí)行過(guò)程中的注意力表現(xiàn)。在任務(wù)執(zhí)行過(guò)程中，同時(shí)采集了腦電圖（EEG）、眼動(dòng)（EM）、頭部旋轉(zhuǎn)（HR）以及任務(wù)表現(xiàn)（TP）數(shù)據(jù)。通過(guò)這些多任務(wù)設(shè)計(jì)，研究旨在更全面地評(píng)估兒童在不同條件下的大腦資源調(diào)動(dòng)情況。研究使用了t檢驗(yàn)對(duì)各個(gè)特征進(jìn)行統(tǒng)計(jì)分析，以確定其在區(qū)分ADHD兒童和典型發(fā)育兒童中的重要性。然后，采用深度神經(jīng)網(wǎng)絡(luò)（DNN）方法對(duì)數(shù)據(jù)進(jìn)行分類，并比較了單模態(tài)數(shù)據(jù)和多模態(tài)數(shù)據(jù)融合的分類效果。結(jié)果顯示，多任務(wù)神經(jīng)生理數(shù)據(jù)的融合顯著提高了ADHD的檢測(cè)準(zhǔn)確率，表明通過(guò)結(jié)合多種神經(jīng)生理數(shù)據(jù)，可以更全面地捕捉ADHD的特征，從而提高診斷的準(zhǔn)確性。此外，研究還發(fā)現(xiàn)，在視覺(jué)CPT中，典型發(fā)育兒童在有無(wú)干擾的情況下任務(wù)表現(xiàn)相似，而ADHD兒童在有干擾時(shí)表現(xiàn)更差。這表明ADHD兒童在復(fù)雜任務(wù)中更容易超出其大腦資源的限制，不同任務(wù)類型對(duì)兒童注意力的影響存在差異。綜上所述，本研究結(jié)果表明，多任務(wù)神經(jīng)生理數(shù)據(jù)的融合可以為 ADHD 的早期診斷提供重要支持。
早期診斷和治療對(duì)于減輕 ADHD 癥狀、改善患者的生活質(zhì)量具有關(guān)鍵作用。近年來(lái)，隨著神經(jīng)生理學(xué)和人工智能技術(shù)的發(fā)展，研究者開(kāi)始探索利用多模態(tài)數(shù)據(jù)來(lái)輔助 ADHD 的診斷。這些方法通過(guò)分析兒童在特定任務(wù)中的神經(jīng)生理反應(yīng)，為診斷提供了更客觀的依據(jù)。本研究旨在通過(guò)融合多任務(wù)神經(jīng)生理數(shù)據(jù)，設(shè)計(jì)不同難度的任務(wù)，利用深度神經(jīng)網(wǎng)絡(luò)（DNN）模型，更全面地評(píng)估兒童在任務(wù)執(zhí)行過(guò)程中的大腦資源調(diào)動(dòng)情況，進(jìn)一步提高 ADHD 的檢測(cè)準(zhǔn)確率，從而為 ADHD 的早期診斷提供更有力的支持。
共有 81 名 6 至 12 歲的兒童參與了本研究。其中，49名被診斷為 ADHD患者（平均年齡 = 7.4 ± 1.6；22 名男孩），32名為正常發(fā)育兒童（平均年齡 = 8.0 ± 1.5；16 名男孩）。
本研究通過(guò)虛擬現(xiàn)實(shí)連續(xù)性能測(cè)試（CPT）任務(wù)，探究受試者的注意力表現(xiàn)。參與者佩戴HTC 頭盔，在實(shí)驗(yàn)過(guò)程中持續(xù)注視前方黑板上出現(xiàn)的數(shù)字。這些數(shù)字范圍從0到9，并以2秒的刺激間隔隨機(jī)出現(xiàn)。參與者被指示在看到數(shù)字順序出現(xiàn)時(shí)（即‘0’之后出現(xiàn)‘1’時(shí)）做出反應(yīng)（GO條件），否則需要抑制反應(yīng)（NOGO 條件）。GO 和 NOGO 刺激隨機(jī)出現(xiàn)。此外，25 次試驗(yàn)（12次GO刺激和13次 NOGO 刺激）包括各種與任務(wù)無(wú)關(guān)的聽(tīng)覺(jué)和視覺(jué)干擾。出現(xiàn)干擾事件的實(shí)驗(yàn)被標(biāo)記為D試驗(yàn)，而沒(méi)有任何干擾的試驗(yàn)則被標(biāo)記為ND試驗(yàn)。在本研究中，根據(jù)干擾類型的不同，主要包括了視覺(jué)CPT、聽(tīng)覺(jué)CPT和視覺(jué)+聽(tīng)覺(jué)CPT三種任務(wù)形式。
受試者使用 HTC Vive TM 控制器完成任務(wù)。除了測(cè)試任務(wù)外，HTC Vive TM 頭盔還提供有關(guān)受試者頭部旋轉(zhuǎn)（HR）和眼動(dòng)（EM）的信息。此外，六個(gè) EEG 通道（Af3、Af4、Af7、Af8、Fp1 和 Fp2）與 HTC Vive 集成，并以 512Hz 的采樣率記錄任務(wù)期間的腦電活動(dòng)。
任務(wù)表現(xiàn)（TP）：在TP數(shù)據(jù)中，將主動(dòng)準(zhǔn)確率、被動(dòng)準(zhǔn)確率和反應(yīng)時(shí)間作為特征。實(shí)驗(yàn)中存在有三種 CPT 任務(wù)和三種條件（干擾、無(wú)干擾和整體平均）。
腦電圖（EEG）：首先對(duì) EEG 數(shù)據(jù)進(jìn)行帶通濾波（2-56 Hz），以去除電源線干擾和頭部運(yùn)動(dòng)偽跡。將處理后的 EEG 數(shù)據(jù)通過(guò)快速傅里葉變換轉(zhuǎn)換到頻域，然后將每個(gè)通道的頻譜密度按預(yù)定義的五個(gè)頻率帶（δ（1-3 Hz）、θ（4-7 Hz）、α（8-14 Hz）、β（15-24 Hz）和 γ（25-48 Hz））進(jìn)行平均。對(duì)每個(gè)頻率帶，計(jì)算每個(gè)通道在相應(yīng)條件下的最大值、最小值、平均值和方差。
眼動(dòng)（EM）：使用 HTC Vive TM 內(nèi)置的眼動(dòng)追蹤設(shè)備收集眼動(dòng)數(shù)據(jù)。該系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，并報(bào)告諸如注視點(diǎn)坐標(biāo)、瞳孔位置、瞳孔直徑以及左眼和右眼的開(kāi)合信息等數(shù)據(jù)。這些數(shù)據(jù)作為眼動(dòng)（EM）特征。
頭部旋轉(zhuǎn)（HR）：頭部旋轉(zhuǎn)幅度被認(rèn)為是評(píng)估受試者注意力的一個(gè)重要特征。任務(wù)期間的 HR 由 HTC Vive TM 計(jì)算。
對(duì)提取的 TP、EEG、EM 和 HR 特征數(shù)據(jù)使用 t 檢驗(yàn)，分析各個(gè)特征在區(qū)分 ADHD 兒童和典型發(fā)育兒童中的顯著性，篩選出在統(tǒng)計(jì)上顯著的特征，減少特征維度，提高后續(xù)分類模型的效率和準(zhǔn)確性。提取的剩余特征數(shù)量分別為 TP 27 個(gè)、EEG 180 個(gè)、EM 99 個(gè)和 HR 9 個(gè)（總共 315 個(gè)特征）。
采用深度神經(jīng)網(wǎng)絡(luò)（DNN）方法進(jìn)行 ADHD 評(píng)估分類。DNN 模型的基本結(jié)構(gòu)包括三個(gè)連接層：輸入層、隱藏層和輸出層（見(jiàn)圖 1）。為了適應(yīng)不同數(shù)據(jù)集的復(fù)雜性，作者系統(tǒng)地調(diào)整了模態(tài)特定 DNN 模型的超參數(shù)，以實(shí)現(xiàn)最佳分類準(zhǔn)確率，包括隱藏層的數(shù)量和神經(jīng)元的數(shù)量。設(shè)計(jì)遞減的節(jié)點(diǎn)旨在減少特征抽象和復(fù)雜性，同時(shí)保留關(guān)鍵特征。所有隱藏層均使用ReLU激活函數(shù)。對(duì)于所有輸出層，由于其適用于二分類問(wèn)題，因此使用了 Sigmoid 激活函數(shù)。具體來(lái)說(shuō)，TP 數(shù)據(jù)集使用了 2 個(gè)隱藏層，神經(jīng)元數(shù)量分別為 128 和 32。HR數(shù)據(jù)集有 3 個(gè)隱藏層，神經(jīng)元數(shù)量分別為 64、32 和 8。EM數(shù)據(jù)集使用了7層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，神經(jīng)元數(shù)量分別為 1024、512、256、128、32、16 和 4。對(duì)于 EEG 數(shù)據(jù)集，首先，通過(guò)處理一個(gè)包含 8 個(gè)隱藏層的 DNN 模型（神經(jīng)元數(shù)量分別為 512、512、256、128、128、32、16 和 4）來(lái)測(cè)試每個(gè)通道的重要性。然后，所有 6 個(gè)通道的EEG數(shù)據(jù)作為一個(gè)整體輸入到一個(gè)包含 6 個(gè)隱藏層的 DNN 模型（神經(jīng)元數(shù)量分別為 1024、1024、512、512、256 和 128）。
在獲得了不同模態(tài)的特征后，實(shí)現(xiàn)了兩種融合模型：早期融合和晚期融合（見(jiàn)圖 2）。在早期融合中，EEG、EM 和 HR 被合并為一個(gè)特征集，用于訓(xùn)練預(yù)測(cè)模型。由于數(shù)據(jù)集值的范圍不同，使用了 min-max 歸一化方法對(duì)特征進(jìn)行重新縮放（見(jiàn)圖 2 左側(cè)）。在晚期融合中，所有不同的特征分別使用 DNN 模型進(jìn)行處理，以獲得重要的 DNN 模型參數(shù)。最后隱藏層的數(shù)據(jù)特定加權(quán)因子被提取作為特征表示。這些提取的特征被合并為融合模型的輸入，用于訓(xùn)練（見(jiàn)圖 2 右側(cè)）。
圖2. 基于DNN的早期（左）和晚期（右）融合模型的架構(gòu)
表 1 總結(jié)了兩組的基于任務(wù)的表現(xiàn)。首先，檢查了干擾對(duì)組內(nèi)影響，并將顯著值用灰色突出顯示。對(duì)于視覺(jué) CPT，在典型發(fā)育兒童中，D 試驗(yàn)和 ND 試驗(yàn)的任務(wù)表現(xiàn)沒(méi)有差異，但在 ADHD 兒童中，D 試驗(yàn)的遺漏錯(cuò)誤顯著高于 ND 試驗(yàn)。對(duì)于聽(tīng)覺(jué) CPT，當(dāng)存在干擾時(shí)，兩組的正確檢測(cè)率顯著降低，遺漏錯(cuò)誤顯著增加。關(guān)于視覺(jué)和聽(tīng)覺(jué) CPT，干擾僅在典型發(fā)育兒童中降低了任務(wù)表現(xiàn)（正確檢測(cè)率、反應(yīng)時(shí)間和遺漏錯(cuò)誤），而在 ADHD 兒童中，D 試驗(yàn)和 ND 試驗(yàn)的任務(wù)表現(xiàn)相似。在視覺(jué)和聽(tīng)覺(jué) CPT 中，ADHD 兒童的反應(yīng)時(shí)間在兩組之間存在顯著差異。此外，在無(wú)干擾試驗(yàn)和有干擾試驗(yàn)中，所有三種 CPT 的正確檢測(cè)率、遺漏錯(cuò)誤和錯(cuò)誤反應(yīng)在兩組之間均存在顯著差異。
（2）個(gè)體特征的統(tǒng)計(jì)檢驗(yàn)
使用 t 檢驗(yàn)對(duì)每個(gè)個(gè)體特征的組間差異進(jìn)行統(tǒng)計(jì)檢驗(yàn)，表 2 總結(jié)了結(jié)果?？梢钥吹剑诮?jīng)過(guò)多重比較校正后，TP、EM、HR 和 EEG 中分別有 22、39、8 和 34 個(gè)特征被統(tǒng)計(jì)識(shí)別為重要特征。TP、EM、HR 和 EEG 中重要特征與總特征的比例分別為 61%、40%、89% 和 3.1%。
（3）單模態(tài)數(shù)據(jù)集的分類結(jié)果
表 3 列出了使用不同分類器的模態(tài)特定的分類結(jié)果。通過(guò) DNN 使用 TP 或 HR 數(shù)據(jù)可以獲得最佳性能，其次是使用 HR 的 LGB。當(dāng)使用 XGB 時(shí)，使用 FP1 EEG 數(shù)據(jù)可以獲得最佳準(zhǔn)確率 76%。使用 HR 數(shù)據(jù)時(shí)，SVM 的最佳性能為 74%。此外，與其他 EEG 通道相比，F(xiàn)P1 在 4 個(gè)分類器中的 3 個(gè)中表現(xiàn)優(yōu)于其他通道。因此，選擇 FP1 作為進(jìn)一步研究的代表性通道。
表3. 每個(gè)數(shù)據(jù)集的分類結(jié)果
為了驗(yàn)證多任務(wù)神經(jīng)生理數(shù)據(jù)的融合是否可以提高分離率，使用 DNN 測(cè)試了不同模型的組合。表 4 列出了融合結(jié)果。當(dāng)使用 2 個(gè)、3 個(gè)和 4 個(gè)神經(jīng)生理數(shù)據(jù)集進(jìn)行融合時(shí)，融合模型的準(zhǔn)確率分別為 83%、84% 和 89%。為了檢驗(yàn)更多特征是否總是導(dǎo)致更高的準(zhǔn)確率，作者測(cè)試了融合所有可能特征（即所有通道的 EEG 特征）的情況，準(zhǔn)確率下降到了 75%（見(jiàn)表 4）。
本文開(kāi)發(fā)了一個(gè)基于 DNN架構(gòu)， 使用多任務(wù)神經(jīng)生理數(shù)據(jù)（EEG、EM、HR 和 TP）的融合模型，以增強(qiáng)對(duì)健ADHD患者的檢測(cè)。在本研究中，設(shè)計(jì)了三種不同難度（視覺(jué)干擾、聽(tīng)覺(jué)干擾、視覺(jué)+聽(tīng)覺(jué)干擾）的任務(wù)，以操縱受試者在任務(wù)表現(xiàn)期間所調(diào)動(dòng)的大腦資源水平。分析結(jié)果證實(shí)，多任務(wù)神經(jīng)生理數(shù)據(jù)的融合，可以將 ADHD 檢測(cè)準(zhǔn)確率提高到 89%，而單一數(shù)據(jù)集的最高準(zhǔn)確率僅為 81%。研究結(jié)果表明，來(lái)自多種任務(wù)的不同神經(jīng)生理模型可以提供有助于 ADHD 篩查的重要信息，提高識(shí)別ADHD 患者的準(zhǔn)確率?？傊?DNN 的多任務(wù)融合模型，為 ADHD 患者的早期臨床診斷和管理提供了一種更高效、更準(zhǔn)確的替代方法。
作者：庹宏煒
審稿：黃海云
