KDD (ACM SIGKDD Conference on Knowledge Discovery and Data Mining ) 是機器學(xué)習(xí)、人工智能與大數(shù)據(jù)分析領(lǐng)域頂級國際會議之一，與ICML、NeurIPS、CVPR 并稱為人工智能方向的頂級會議。KDD 2025將于8月3日—8月7日在加拿大多倫多舉行。PKU-DAIR實驗室論文《LLMs are Noisy Oracles! LLM-based Noise-aware Graph Active Learning for Node Classification》被KDD 2025錄用。

LLMs are Noisy Oracles! LLM-based Noise-aware Graph Active Learning  for Node Classification

作者：Zeang Sheng, Weiyang Guo, Yingxia Shao, Wentao Zhang, Bin Cui

Github鏈接：https://github.com/PKU-DAIR/Noisy_LLM_Oracle

一、問題背景與動機

圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks, GNNs）因其出色的鄰域信息捕捉能力，被廣泛應(yīng)用于節(jié)點分類、鏈接預(yù)測和藥物發(fā)現(xiàn)等圖學(xué)習(xí)任務(wù)中。與其他深度學(xué)習(xí)模型類似，GNN需要依賴充足的高質(zhì)量標注數(shù)據(jù)進行訓(xùn)練，才能在下游任務(wù)中表現(xiàn)優(yōu)異。然而，圖結(jié)構(gòu)數(shù)據(jù)中樣本間復(fù)雜的連接關(guān)系使得人工標注的難度遠高于圖像或文本數(shù)據(jù)，導(dǎo)致標注成本高昂。例如，主流基準大規(guī)模圖數(shù)據(jù)集OGB[1]中的ogbn-papers100M僅有約1%的節(jié)點被標注。

近年來，大語言模型（Large Language Models, LLMs）在文本任務(wù)中展現(xiàn)的零樣本能力引發(fā)了廣泛關(guān)注。已有研究[2]嘗試將圖數(shù)據(jù)轉(zhuǎn)化為文本形式后利用LLM進行圖學(xué)習(xí)任務(wù)，盡管其性能尚未超越專有GNN模型，但展現(xiàn)了良好的泛化能力?；诖耍粋€近期工作LLM-GNN[3]提出用LLM替代人工標注以低成本緩解數(shù)據(jù)稀缺問題。該方案通過后置過濾（Post Filtering, PS）剔除LLM不確定的標注，并采用基于均勻分布假設(shè)的噪聲可感圖主動學(xué)習(xí)算法RIM [4]處理標注噪聲。

本文通過實驗分析發(fā)現(xiàn)，同一個LLM在不同數(shù)據(jù)集上的標注噪聲分布非常復(fù)雜且和具體數(shù)據(jù)集特征有關(guān)，因此LLM-GNN采用的均勻分布假設(shè)存在局限性。

圖1. LLM在不同數(shù)據(jù)集上的標注噪聲分布

建模LLM標注噪聲分布的難點在于雙重感知需求：1.數(shù)據(jù)集可感：實驗分析表明，同一LLM在不同數(shù)據(jù)集上會呈現(xiàn)高度異質(zhì)性的噪聲分布。這種數(shù)據(jù)集依賴性要求噪聲模型必須動態(tài)適配目標數(shù)據(jù)集的特性。2. LLM可感：不同LLM因架構(gòu)和訓(xùn)練差異表現(xiàn)出獨特的標注行為特征?，F(xiàn)有研究證實，某些LLM擅長結(jié)構(gòu)化關(guān)系推理但在實體分類中表現(xiàn)不穩(wěn)定，而另一些則相反。因此，噪聲模型需精準捕捉當(dāng)前所用LLM的固有偏差。這一問題的根本矛盾在于：缺乏真實標簽使得傳統(tǒng)校準方法失效；簡單假設(shè)（如均勻分布）無法兼容上述雙重感知需求。這一矛盾催生了本文的核心研究問題——如何在沒有真值監(jiān)督的條件下，構(gòu)建同時滿足數(shù)據(jù)集可感與LLM可感的噪聲分布估計算法。

二、DMA框架詳解

圖2. DMA框架流程圖

1. DMA流程概述：

DMA框架的工作流程概覽如圖2所示。我們構(gòu)建DMA的目的是利用LLM對圖結(jié)構(gòu)數(shù)據(jù)進行標注。具體而言，DMA接收未標注的圖和標注預(yù)算B作為輸入，隨后選擇B個最具價值的節(jié)點進行標注，使得基于標注數(shù)據(jù)訓(xùn)練的GNN在下游圖學(xué)習(xí)任務(wù)中表現(xiàn)最優(yōu)。DMA由兩個核心模塊組成：噪聲估計模塊和節(jié)點選擇模塊。噪聲估計模塊負責(zé)以數(shù)據(jù)集可感和LLM可感的方式，顯式估計大語言模型的標注噪聲分布；節(jié)點選擇模塊則利用估計的噪聲分布計算各節(jié)點的可靠性分數(shù)，并通過可靠性感知的影響力最大化策略篩選有價值節(jié)點。本節(jié)后續(xù)內(nèi)容將詳細闡述DMA的這兩個模塊

2. 噪聲估計模塊：

本文提出一種數(shù)據(jù)集可感與LLM可感的方法，用于顯式估計大語言模型的標注噪聲分布。我們的設(shè)計基于以下核心思想：表征相似的類別更易被相互混淆?；谠撍枷耄肼暪烙嬆K首先確定每個類別的表征，進而據(jù)此近似推導(dǎo)LLM的標注噪聲分布。相應(yīng)地，噪聲估計模塊包含兩個連續(xù)步驟：1）偽樣本生成，2）噪聲分布計算。

1）偽樣本生成：

本步驟旨在為數(shù)據(jù)集中的每個類別生成偽樣本，其嵌入向量將作為對應(yīng)類別的表征。這些偽樣本由用于標注的LLM生成以確保與標注結(jié)果的一致性（示意圖見圖3）。具體實現(xiàn)時，我們?yōu)槊總€類別構(gòu)建包含數(shù)據(jù)集描述和類別描述的提示詞(Prompt)，要求LLM生成最匹配目標類別的數(shù)據(jù)樣本。這樣一來，生成的偽樣本能夠反映基準LLM對數(shù)據(jù)集中各類別的理解，具有數(shù)據(jù)集適應(yīng)性和LLM特異性。

圖3. 偽樣本生成示例

2）噪聲分布計算：

本步驟利用前步生成的偽樣本近似LLM的標注噪聲分布。對于類別，我們從基準LLM獲取其偽樣本的嵌入向量作為該類別表征。隨后計算所有類別對的余弦相似度矩陣：

隨后通過行歸一化(1-范數(shù))得到標準化矩陣。根據(jù)“相似表征類別易混淆”的核心思想，該矩陣衡量了LLM將類別節(jié)點誤標注為類別的概率。因此該矩陣即為DMA中估計的LLM標注噪聲分布，該分布將用于節(jié)點選擇模塊中的節(jié)點可靠性評分計算。

3. 節(jié)點選擇模塊

我們?yōu)镈MA中的節(jié)點選擇模塊設(shè)計了一個新的圖主動學(xué)習(xí)算法，該算法基于現(xiàn)有研究RIM進行改進：RIM假設(shè)標注噪聲服從均勻分布，并通過計算節(jié)點可靠性分數(shù)實現(xiàn)可靠節(jié)點選擇。然而如圖1所示，LLM的標注噪聲分布與均勻分布相差甚遠。因此，當(dāng)采用LLM進行數(shù)據(jù)標注時，我們提出的節(jié)點選擇算法進一步利用了噪聲估計模塊中估計的LLM噪聲分布，從而實現(xiàn)更精確的可靠性分數(shù)計算。

RIM僅針對已標注節(jié)點更新影響力質(zhì)量（Influence Quality），而對未標注節(jié)點則簡單采用預(yù)設(shè)的標注準確度分數(shù)作為其影響力質(zhì)量。與RIM不同，DMA的節(jié)點選擇模塊將已標注節(jié)點的影響力質(zhì)量分數(shù)沿圖中的邊傳遞至全圖所有節(jié)點，從而實現(xiàn)所有節(jié)點影響力質(zhì)量的動態(tài)更新。這種方法能為未標注節(jié)點生成更具意義的影響力質(zhì)量評估。DMA的更新過程在原理上與PageRank[5]分數(shù)計算具有相似性。DMA的節(jié)點選擇模塊的其余部分沿用了RIM的設(shè)計，該框架基于社交影響力最大化領(lǐng)域的經(jīng)典研究[6]。其核心思想是：優(yōu)先選擇能夠最大程度擴展已標注節(jié)點激活范圍的未標注節(jié)點，圖4給出了一個簡略的偽代碼流程，具體算法流程請參見論文。

圖4. DMA中節(jié)點選擇算法偽代碼

三、實驗結(jié)果

我們在五個常用的圖數(shù)據(jù)集（Cora、Citeseer、PubMed、WikiCS、Ogbn-arxiv）上對DMA和基線方法在下游節(jié)點分類任務(wù)上的性能進行了對比分析。我們將節(jié)點選擇預(yù)算B設(shè)置為20乘以各數(shù)據(jù)集的類別數(shù)量?；诿總€方法生成的標注數(shù)據(jù)，我們訓(xùn)練了一個2層GCN/GAT模型。表1的評估結(jié)果表明，我們提出的DMA框架持續(xù)優(yōu)于現(xiàn)有框架。表1還顯示DMA的性能優(yōu)勢不受GNN模型選擇的影響。由于DMA主要關(guān)注選擇更可靠的節(jié)點，而LLM-GNN中的DA側(cè)重降低LLM標注難度，二者的關(guān)注點正交，因此兩者可以加以結(jié)合來進一步提升下游任務(wù)效果。表1中DA+DMA在多數(shù)配置下超越原始DMA的評估結(jié)果，驗證了DA與DMA的成功融合。在大型Ogbn-arxiv數(shù)據(jù)集評估時，GraphPart[7]和RIM會出現(xiàn)"OOT（超時）"問題，而DMA能成功運行，展現(xiàn)了后者更高的可擴展性和運行效率。

表1.  節(jié)點分類任務(wù)上的性能對比，OOT代表超時（Out of Time）

為了驗證DMA中噪聲估計模塊的有效性，我們對其預(yù)測的LLM標注噪聲分布進行了可視化分析。圖5分別展示了Cora和Citeseer數(shù)據(jù)集上的估計噪聲分布，同時提供真實噪聲分布作為對比基準。圖5顯示，估計結(jié)果基本反映了真實噪聲分布的核心模式，這一現(xiàn)象解釋了表1中DMA優(yōu)于基線模型的性能表現(xiàn)。然而，估計分布與真實分布之間仍存在差異：例如在Cora數(shù)據(jù)集上，噪聲估計模塊認為第5類節(jié)點的錯誤標注概率為0.29，而其真實誤標概率僅為0.07。這些偏差表明，未來需要進一步改進LLM標注噪聲分布的估計精度。

圖5.  估算的噪聲分布與真實的噪聲分布對比

我們提出的DMA框架最核心的貢獻在于：其噪聲估計模塊以數(shù)據(jù)集可感和LLM可感的方式，顯式建模了LLM的標注噪聲分布。為驗證該模塊是否如預(yù)期提升了最終性能，我們設(shè)計了以下實驗：定義兩種DMA變體——1）"DMA-w/o-NE"：將噪聲估計模塊中的預(yù)測噪聲分布替換為均勻分布，通過將均勻噪聲率從0.1到0.5網(wǎng)格搜索后取最高測試精度作為最終性能；2）"DMA-centroid"：采用節(jié)點特征經(jīng)K-Means聚類生成的質(zhì)心嵌入作為類別表示（假設(shè)該變體可利用真實標簽對齊質(zhì)心與真實類別以保證可行性）。表2的實驗結(jié)果表明：完整版DMA在所有評估配置下均優(yōu)于兩種變體。DMA相對DMA-w/o-NE的性能優(yōu)勢，證實了噪聲估計模塊預(yù)測標注噪聲分布的有效性；而DMA相對DMA-centroid的優(yōu)越性，則源于其與LLM對數(shù)據(jù)集認知的更好對齊，這凸顯了以數(shù)據(jù)集可感和LLM可感方式建模噪聲分布的重要性。

表2.  噪聲估計模塊的消融實驗

我們對比了DMA與GraphPart、RIM在節(jié)點選擇階段的時間和內(nèi)存消耗。表2展示了在五個真實圖數(shù)據(jù)集的評估結(jié)果。實驗結(jié)果表明DMA在時間和內(nèi)存開銷上顯著低于GraphPart、RIM等強基線框架，尤其在大規(guī)模數(shù)據(jù)集上優(yōu)勢明顯。DMA的運行時性能優(yōu)勢源于我們采用的三項深度優(yōu)化策略：1）使用C++實現(xiàn)節(jié)點選擇操作，并采用OpenMP并行計算各節(jié)點可靠度影響值；2）手動構(gòu)建并訪問CSR格式的稀疏鄰接矩陣，避免直接操作稠密矩陣；3）為每個線程維護小型緩存，預(yù)讀取并存儲線程專屬的稠密鄰接矩陣以減少冗余內(nèi)存訪問。

            表3.  節(jié)點選擇模塊的開銷對比

四、總結(jié)

現(xiàn)有工作通過采用大型語言模型（LLM）作為標注工具，實現(xiàn)了低成本的圖主動學(xué)習(xí)。盡管已觀察到LLM的標注存在噪聲，現(xiàn)有工作仍簡單假設(shè)其噪聲服從均勻分布。然而，本文通過實驗分析發(fā)現(xiàn)，LLM的標注噪聲非常復(fù)雜且與數(shù)據(jù)集具體特征相關(guān)?；诜治鼋Y(jié)果，我們提出了一種新型噪聲可感圖主動學(xué)習(xí)框架DMA。該框架包含兩個核心模塊：1）噪聲估計模塊通過LLM生成的偽樣本，以數(shù)據(jù)集和LLM雙重可感的方式估算標注噪聲分布；2）節(jié)點選擇模塊利用估計的噪聲分布衡量節(jié)點可靠性，并選擇能最大化可靠影響力的節(jié)點。在五個公開文本屬性圖數(shù)據(jù)集上的評估結(jié)果表明，DMA性能始終優(yōu)于所有基線方法。

參考文獻

[1] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. 2020. Open Graph Benchmark: Datasets for Machine Learning on Graphs. arXiv preprint arXiv:2005.00687 (2020).

[2] Jiabin Tang, Yuhao Yang, Wei Wei, Lei Shi, Lixin Su, Suqi Cheng, Dawei Yin, and Chao Huang. 2024. Graphgpt: Graph instruction tuning for large language models. In Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval. 491–500.

[3] Zhikai Chen, Haitao Mao, Hongzhi Wen, Haoyu Han, Wei Jin, Haiyang Zhang, Hui Liu, and Jiliang Tang. 2024. “Label-free Node Classification on Graphs with Large Language Models (LLMs)”. In The Twelfth International Conference on Learning Representations.

[4] Wentao Zhang, Yexin Wang, Zhenbang You, Meng Cao, Ping Huang, Jiulong Shan, Zhi Yang, and Bin Cui. 2021. “Rim: Reliable influence-based active learning on graphs”. Advances in Neural Information Processing Systems 34 (2021), 27978–27990.

[5] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. 1999. “The PageRank citation ranking: Bringing order to the web”. Technical Report. Stanford infolab.

[6] David Kempe, Jon Kleinberg, and Éva Tardos. 2003. “Maximizing the spread of influence through a social network”. In Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining. 137–146.

[7] Jiaqi Ma, Ziqiao Ma, Joyce Chai, and Qiaozhu Mei. 2023. “Partition-Based Active Learning for Graph Neural Networks”. Transactions on Machine Learning Research (2023).

實驗室簡介

北京大學(xué)數(shù)據(jù)與智能實驗室（Data And Intelligence Research Lab at Peking Univeristy，PKU-DAIR實驗室）由北京大學(xué)計算機學(xué)院崔斌教授領(lǐng)導(dǎo)，長期從事數(shù)據(jù)庫系統(tǒng)、大數(shù)據(jù)管理與分析、人工智能等領(lǐng)域的前沿研究，在理論和技術(shù)創(chuàng)新以及系統(tǒng)研發(fā)上取得多項成果，已在國際頂級學(xué)術(shù)會議和期刊發(fā)表學(xué)術(shù)論文200余篇，發(fā)布多個開源項目。課題組同學(xué)曾數(shù)十次獲得包括CCF優(yōu)博、ACM中國優(yōu)博、北大優(yōu)博、微軟學(xué)者、蘋果獎學(xué)金、谷歌獎學(xué)金等榮譽。PKU-DAIR實驗室持續(xù)與工業(yè)界展開卓有成效的合作，與騰訊、阿里巴巴、蘋果、微軟、百度、快手、中興通訊等多家知名企業(yè)開展項目合作和前沿探索，解決實際問題，進行科研成果的轉(zhuǎn)化落地。