1576
6
0
2024-07-26 10:29:36
2024-07-26
本次分享由安春燕團(tuán)隊(duì)投稿在 DASFAA 2024的論文《AoSE-GCN: Attention-aware Aggregation Operator for Spatial-Enhanced GCN》。該論文一作是2022級(jí)研究生葉家震，通訊作者是安春燕。該論文提出了一個(gè)名為L(zhǎng)att的注意力感知聚合算子（attention-aware aggregation operator）并從空間角度提出了鄰域聚合增強(qiáng)的AoSE-GCN模型。AoSE-GCN彌補(bǔ)了GCN在捕捉局部鄰域細(xì)節(jié)的不足，同時(shí)包含了拉氏算子天然攜帶的全局結(jié)構(gòu)視野，使其可以感知圖網(wǎng)絡(luò)全局和局部?jī)煞N不同的域。此外，該文章為我們研究GCN等譜圖網(wǎng)絡(luò)提供了一種從空間增強(qiáng)的新視角。
摘要：圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks, gnn)在各種與圖相關(guān)的應(yīng)用中取得了顯著的成功，大致可分為基于空間和基于頻譜的方法。特別是，空間方法可以很好地捕獲局部鄰域，但缺乏全局結(jié)構(gòu)洞察力，因?yàn)樗鼈兪腔诰酆纤阕釉诰植抗?jié)點(diǎn)上定義的。相反，光譜方法包含全局結(jié)構(gòu)信息，但由于拉普拉斯矩陣的性質(zhì)而難以獲得局部細(xì)節(jié)。值得注意的是，頻譜方法在濾波器上采用頻率分量調(diào)整來(lái)實(shí)現(xiàn)有效的卷積，但與空間方法相比，它們?nèi)匀徊荒敲挫`活。挑戰(zhàn)在于平衡這些方法，使GNN模型能夠捕獲全局級(jí)和局部級(jí)信息，從而促進(jìn)圖表示學(xué)習(xí)。為了解決這個(gè)問題，我們引入了一個(gè)新的注意力感知聚合算子，表示為L(zhǎng)att，通過在拉普拉斯矩陣中附加注意力得分作為附加權(quán)重。受其優(yōu)點(diǎn)的啟發(fā)，我們將Latt集成到GCN模型中，以感知不同層次的場(chǎng)，稱為AoSE-GCN。值得注意的是，我們的Latt并不局限于GCN，任何光譜方法都可以很容易地插入。在基準(zhǔn)數(shù)據(jù)集上的大量實(shí)驗(yàn)驗(yàn)證了AoSE-GCN在全監(jiān)督或半監(jiān)督設(shè)置下節(jié)點(diǎn)分類任務(wù)的優(yōu)越性。
圖神經(jīng)網(wǎng)絡(luò)(GNN)在各種與圖相關(guān)的應(yīng)用中取得了顯著的成功，包括社會(huì)分析[3]、流量預(yù)測(cè)[12]和推薦系統(tǒng)[4]。它們有效學(xué)習(xí)圖中復(fù)雜關(guān)系的能力使其適用于節(jié)點(diǎn)分類 [32,19]、鏈接預(yù)測(cè)[26]和圖分類[1]等任務(wù)。
各種類型的GNN已經(jīng)被開發(fā)出來(lái)[13,30,2,7,19,24]，根據(jù)卷積算子可以將其分為空間域和譜域圖卷積。在空間域中，直接在節(jié)點(diǎn)域中定義卷積，使用聚集算子收集局部鄰域信息來(lái)學(xué)習(xí)節(jié)點(diǎn)表示。這個(gè)過程通常通過消息傳 遞框架[11]進(jìn)行封裝和泛化。例如，GraphSAGE[13]通過隨機(jī)抽樣聚合加 權(quán)的相鄰節(jié)點(diǎn)，生成節(jié)點(diǎn)表示。類似地，GAT[30]基于注意機(jī)制計(jì)算相鄰 節(jié)點(diǎn)的權(quán)重，MoNet[24]通過平均相鄰節(jié)點(diǎn)上定義的加權(quán)函數(shù)來(lái)學(xué)習(xí)節(jié)點(diǎn) 表示。雖然這些方法對(duì)于捕獲局部節(jié)點(diǎn)鄰域的信息是有效的，但它們往往 忽略了對(duì)全局結(jié)構(gòu)的洞察。另一方面，光譜方法包含全局結(jié)構(gòu)信息，但由 于拉普拉斯矩陣的性質(zhì)，往往難以獲得局部細(xì)節(jié)。頻譜GNN基于卷積定理定義卷積。例如，SCNN[2]全局使用拉普拉斯特征分解在譜域進(jìn)行圖表示， 而不是局部化。此外，ChebyNet[7]和GCN[19]使用Chebyshev多項(xiàng)式作為 卷積核參數(shù)，實(shí)現(xiàn)了局部卷積。為了更有效地捕獲局部結(jié)構(gòu)的信息， ChebyNet- II[15]通過Chebyshev插值增強(qiáng)了原始ChebyNet的逼近能力。 BernNet[14]模型采用Bernstein多項(xiàng)式來(lái)近似圖濾波器的頻率響應(yīng)，使其能夠?qū)W習(xí)任意濾波器。GPR-GNN[6]模型通過基于單項(xiàng)的圖卷積近似來(lái)推導(dǎo) 低通或高通濾波器。雖然頻譜方法調(diào)整濾波器的頻率成分以獲得有效的卷積，但與空間域方法不同，它們?cè)谥苯雍挽`活地從空間背景下的局部鄰域 結(jié)構(gòu)中聚合信息方面面臨挑戰(zhàn)。因此，在這些方法之間取得平衡對(duì)于釋放基于圖的學(xué)習(xí)的全部潛力至關(guān)重要。
為了研究全局結(jié)構(gòu)信息的最佳利用和局部相鄰細(xì)節(jié)的靈活聚集，我們通過光譜方法的空間解釋來(lái)解決這個(gè)問題。頻譜方法通過調(diào)整濾波器頻率 分量有效地實(shí)現(xiàn)卷積，其中局部聚集中相鄰節(jié)點(diǎn)的權(quán)重與這些頻率分量權(quán) 重的調(diào)整很好地對(duì)應(yīng)，正如Chen[5]在一項(xiàng)全面調(diào)查中所強(qiáng)調(diào)的那樣。此外，MPNN[11]提供了頻譜方法的簡(jiǎn)潔總結(jié)，使用拉普拉斯矩陣多項(xiàng)式來(lái)捕獲 消息傳遞過程中的局部結(jié)構(gòu)。在這個(gè)過程中，拉普拉斯矩陣作為圖拉普拉 斯算子[28]，在卷積逼近中包含全局和局部信息。值得注意的是，在 ChebyNet和GCN等近似卷積過程中，可以繞過拉普拉斯矩陣的特征值分解， 從光譜方法的空間角度來(lái)看，使其更類似于聚合算子。然而，必須注意的是，該算子僅限于捕獲基本的鄰域節(jié)點(diǎn)關(guān)系，從而限制了其有效性。
為了解決這些挑戰(zhàn)，我們提出了一種新穎的注意力感知聚合算子，表示為 Latt，其中注意力得分作為額外的權(quán)重附加。這種添加允許在拉普拉斯矩陣的 鄰域節(jié)點(diǎn)之間調(diào)整擾動(dòng)增益。為了實(shí)證證明聚合算子Latt的有效性，我們將其 無(wú)縫集成到圖卷積網(wǎng)絡(luò)(GCN)模型中，從而增強(qiáng)了空間域內(nèi)的近似卷積過程。 特別地，我們引入了一種新的GCN變體，稱為AoSE-GCN，它使用Latt代替拉 普拉斯矩陣來(lái)捕獲局部鄰域內(nèi)的有效信息。這種戰(zhàn)略替代確保了我們的模型 不僅封裝了全局信息，而且還識(shí)別了局部結(jié)構(gòu)內(nèi)鄰近節(jié)點(diǎn)的重要性。值得注意的是，我們?cè)O(shè)計(jì)的聚合算子并不僅僅局限于GCN模型，它通過對(duì)拉普拉斯 矩陣的微小修改，提供了與各種光譜方法集成的多功能性。
我們的貢獻(xiàn)可以總結(jié)如下:
在空間圖神經(jīng)網(wǎng)絡(luò)(GNNs)中，卷積是在節(jié)點(diǎn)域中定義的，展示了利用各種聚合函數(shù)靈活捕獲局部鄰域信息的非凡能力。例如，GraphSAGE[13]采用鄰域節(jié)點(diǎn) 的隨機(jī)抽樣和一組不同的聚類函數(shù)來(lái)進(jìn)行節(jié)點(diǎn)表示學(xué)習(xí)。GAT[30]利用注意機(jī)制定義聚合函數(shù)，實(shí)現(xiàn)有效的節(jié)點(diǎn)表示學(xué)習(xí)。DCNN[1]利用從隨機(jī)行走中獲 得的K-hop轉(zhuǎn)移概率作為節(jié)點(diǎn)間的權(quán)重聚合。GAM[22]采用注意機(jī)制引導(dǎo)的隨機(jī)行走對(duì)有效節(jié)點(diǎn)進(jìn)行采樣，捕獲圖結(jié)構(gòu)中的關(guān)鍵區(qū)域連通性信息。 ConfGCN[29]為每個(gè)節(jié)點(diǎn)學(xué)習(xí)一個(gè)置信度函數(shù)，影響節(jié)點(diǎn)相關(guān)性并修正聚合函數(shù)。HGNN[9]將邊緣擴(kuò)展為連接多個(gè)節(jié)點(diǎn)的超邊緣，并定義超邊緣上的聚合函數(shù)，用于節(jié)點(diǎn)特征傳播。MoNet[24]將每個(gè)節(jié)點(diǎn)的局部結(jié)構(gòu)映射到相同大小的向量，并在映射結(jié)果上學(xué)習(xí)共享卷積核。PGC[34]定義了一個(gè)采樣函數(shù)來(lái)構(gòu)建節(jié)點(diǎn)鄰域，并與卷積過程的特定加權(quán)函數(shù)相乘。
雖然空間方法在捕獲鄰域信息方面表現(xiàn)出豐富而靈活的手段，但它們的重點(diǎn)往往放在局部鄰域上，往往忽略了全局結(jié)構(gòu)的洞察力。相比之下， 我們提出的方法引入了注意力感知聚合算子Latt來(lái)近似卷積操作。這一創(chuàng)新允許同時(shí)考慮全局視圖和局部結(jié)構(gòu)，有效地補(bǔ)償了空間方法在全局洞察力 方面的局限性。
譜圖神經(jīng)網(wǎng)絡(luò)(GNNs )基于譜圖理論定義圖卷積，通過學(xué)習(xí)濾波器調(diào)整頻率分量，實(shí)現(xiàn)有效的卷積。SCNN[2]開創(chuàng)了譜域圖卷積，直接學(xué)習(xí)圖卷積的濾 波器系數(shù)。GCN[19]使用一階切比雪夫多項(xiàng)式近似，被認(rèn)為是一種有效的 低頻濾波器。GraphHeat[32]增強(qiáng)低頻濾波器，并使用熱核抑制高頻波。 APPNP[20]和GDC[21]使用perpersonalized PageRank (PPR)設(shè)置低頻濾波的過濾權(quán)值。GNN-LF/HF[37]設(shè)計(jì)濾波器，從圖形優(yōu)化器的角度模擬高通和低通濾波器。ChebNet[7]采用切比雪夫多項(xiàng)式近似濾波運(yùn)算來(lái)學(xué)習(xí)任意濾 波器。Chebynet-II[15]通過切比雪夫插值增強(qiáng)了切比雪夫多項(xiàng)式近似，以更好地學(xué)習(xí)任意圖卷積。GPR-GNN[6]通過圖卷積的基于單項(xiàng)式的近似派 生出低通或高通濾波器。BernNet[14]使用Bernstein多項(xiàng)式來(lái)近似圖濾波器 的頻率響應(yīng)，使其能夠?qū)W習(xí)任意濾波器。
雖然這些頻譜方法專注于學(xué)習(xí)有效濾波器，但它們通常不如空間方法靈活，后者直接從空間角度定義卷積ag-gregates。在我們的方法中，我們引入了注意力感知聚合算子Latt作為拉普拉斯算子在逼近卷積運(yùn)算中的替代 品。Latt直接在空間域上使用注意算子有效地執(zhí)行局部聚合，與傳統(tǒng)的光譜方法相比，提供了更強(qiáng)的靈活性。
有很多方法專門用于不同類型的圖，包括同構(gòu)圖和異構(gòu)圖。例如，GCN和 Graph-SAGE專注于同構(gòu)圖。此外，還提出了許多方法，如HetGNN[36]、 RGCN[26]、HAN[31]等，來(lái)學(xué)習(xí)異構(gòu)圖表示。例如，Metapath2vec[8]通過 基于元路徑和隨機(jī)漫步策略捕獲不同類型節(jié)點(diǎn)和關(guān)系的結(jié)構(gòu)和語(yǔ)義相關(guān)性來(lái)學(xué)習(xí)圖表示。HIN2vec[10]在異構(gòu)網(wǎng)絡(luò)中探索豐富的信息和網(wǎng)絡(luò)結(jié)構(gòu)。
通過捕獲節(jié)點(diǎn)之間的多個(gè)元路徑。HetGNN[36]通過帶重啟策略的隨機(jī)行走 對(duì)節(jié)點(diǎn)的異構(gòu)鄰居進(jìn)行強(qiáng)相關(guān)采樣，并聚合這些鄰居信息，生成最終的節(jié)點(diǎn) em- bedingrepresentation。R-GCN[26]分別學(xué)習(xí)不同類型關(guān)系下節(jié)點(diǎn)的節(jié)點(diǎn)表 示，最后疊加更新最終節(jié)點(diǎn)嵌入表示。HAN[31]通過學(xué)習(xí)節(jié)點(diǎn)級(jí)和語(yǔ)義級(jí)的關(guān)注，充分考慮了節(jié)點(diǎn)和元路徑的重要性，增強(qiáng)了模型學(xué)習(xí)異構(gòu)圖節(jié)點(diǎn)表示 的能力。值得注意的是，很少有文獻(xiàn)探討空間/光譜GNN 與異構(gòu)圖的結(jié)合。在應(yīng)用拉普拉斯算子進(jìn)行鄰居信息聚合時(shí)，如何設(shè)計(jì)融合異構(gòu)節(jié)點(diǎn)和邊緣信息的GNN模型是一個(gè)挑戰(zhàn)。
無(wú)向圖通常定義為G = (V, E)， V表示一組節(jié)點(diǎn)，E表示一組邊。設(shè)A表示鄰 接矩陣，Aij表示圖G的節(jié)點(diǎn)i和節(jié)點(diǎn)j之間的連接，D表示度矩陣，Dii = 求和 A i j。 因此，圖拉普拉斯矩陣 可以定義為L(zhǎng) = D−A，它的標(biāo)準(zhǔn)和規(guī)范化形式通常表示為L(zhǎng) ~ =In−D−1/2 AD− 1/2，其中In是一個(gè)單位矩陣。由于L ~是一個(gè)實(shí)對(duì)稱的正半定矩陣，它可以被 特征分解為L(zhǎng) ~ = UΛU−1，其中U是由特征向量組成的酉矩陣，Λ是由特征值組成的對(duì)角矩陣。根據(jù)圖信號(hào)理論，信號(hào)x∈R n在圖G上的卷積運(yùn)算定義 為y =UgθUTx，其中g(shù)θ 為卷積核，y表示信號(hào)x經(jīng)過卷積運(yùn)算后的結(jié)果。
基于圖信號(hào)理論的圖卷積方法需要對(duì)拉普拉斯矩陣進(jìn)行特征分解，耗時(shí)長(zhǎng)， 且不能保證局部連接。幸運(yùn)的是，Chebynet和GCN通過使用拉普拉斯算子的 多項(xiàng)式近似卷積操作來(lái)避免這些弱點(diǎn)。接下來(lái)，我們將介紹兩種基本的譜方 法。
Chebynet。ChebyNet直接將卷積核替換為k階Chebyshev多項(xiàng)式[7]，其定義如下:
式中Tk為第k項(xiàng)Chebyshev多項(xiàng)式，θk為第k項(xiàng)多項(xiàng)式的系數(shù)。它將圖卷積運(yùn) 算簡(jiǎn)化為拉普拉斯矩陣L的Chebyshev多項(xiàng)式的和，避免了L的特征分解，同時(shí)通過多項(xiàng)式性質(zhì)保持卷積的局域化。最后，Chebynet的卷積定義如下:
一般GCN。GCN通過簡(jiǎn)化Chebynet，使用一階Chebyshev多項(xiàng)式近似進(jìn)行圖 卷積，即設(shè)k = 1， θ= θ0=−θ1，卷積定義如下:
離散拉普拉斯算子從周圍節(jié)點(diǎn)的梯度差中得到中心節(jié)點(diǎn)的擾動(dòng)增益效應(yīng)。同樣，拉普拉斯矩陣L是圖G上拉普拉斯算子的離散對(duì)應(yīng)，它描述了圖[28]上節(jié)點(diǎn)的擾動(dòng)增益效應(yīng)。重要的是要注意，分析拉普拉斯矩陣的擾動(dòng)增益揭示了 圖的局部和全局屬性，以及節(jié)點(diǎn)之間的關(guān)聯(lián)程度。
在局部性質(zhì)中，我們得到節(jié)點(diǎn)j∈Ni對(duì)節(jié)點(diǎn)i的擾動(dòng)增益△f i，其中△為 拉普拉斯運(yùn)算符號(hào)，f∈R n表示圖G上的任意節(jié)點(diǎn)信號(hào)，Ni為圖中節(jié)點(diǎn)i的一 個(gè)鄰域。計(jì)算如下:
在全局屬性中，我們可以得到整個(gè)圖G中每個(gè)節(jié)點(diǎn)的擾動(dòng)增益值。我們用F = (f1，f2，···fn ))來(lái)表示圖G具有全部N個(gè)節(jié)點(diǎn)的信號(hào)，圖的擾動(dòng)增益表示為
從兩個(gè)性質(zhì)點(diǎn)可以看出，拉普拉斯矩陣揭示了圖結(jié)構(gòu)上局部節(jié)點(diǎn)之間 的關(guān)聯(lián)和全局節(jié)點(diǎn)之間的關(guān)聯(lián)。在拉普拉斯矩陣的計(jì)算中，圖中的每個(gè)節(jié)點(diǎn)i與其相鄰節(jié)點(diǎn)的特征進(jìn)行直接聚合。因此，拉普拉斯矩陣可以概念化為作用于空間域內(nèi)圖的一個(gè)聚集算子，它只是一個(gè)簡(jiǎn)單的直接聚集。
考慮到拉普拉斯矩陣特征值分解的耗時(shí)問題，有必要將原始卷積核簡(jiǎn)化為 多項(xiàng)式核。特別是，我們利用卷積近似以拉普拉斯矩陣多項(xiàng)式乘積與圖信 號(hào)相乘的形式代替卷積核(參見Eq. 2和3)。另一方面，拉普拉斯矩陣可以很 好地表示節(jié)點(diǎn)之間的關(guān)系，以捕獲全局結(jié)構(gòu)信息。在對(duì)目標(biāo)節(jié)點(diǎn)的鄰居特 征進(jìn)行聚合時(shí)，受拉普拉斯矩陣空間聚合的影響，可將其視為一個(gè)空間聚 合算子(參見Eq. 4和5)，但其有效區(qū)分不同鄰居的能力有限。因?yàn)樗饕?獲簡(jiǎn)單的鄰居關(guān)系。為了解決這一限制，我們創(chuàng)新地設(shè)計(jì)了一個(gè)注意力感 知聚合算子，從空間角度取代了原來(lái)的拉普拉斯矩陣。該算子在增強(qiáng)頻譜 GNN模型的能力方面起著關(guān)鍵作用。
隨后的部分將詳細(xì)介紹注意力感知聚合算子，闡明其功能，并強(qiáng)調(diào)如 何將其無(wú)縫集成到頻譜GNN模型中以增強(qiáng)性能。
基于Eq. 4的見解，通過拉普拉斯計(jì)算獲得的節(jié)點(diǎn)擾動(dòng)的增益被表述為加權(quán)集合，對(duì)其相鄰節(jié)點(diǎn)的加權(quán)求和。為了方便這個(gè)過程，我們引入了一組可學(xué)習(xí) 的參數(shù)，表示為µij。這些參數(shù)作為注意力放大系數(shù)，在聚合過程中動(dòng)態(tài) 捕捉相鄰節(jié)點(diǎn)j對(duì)中心節(jié)點(diǎn)i的影響。
因此，對(duì)于圖中所有N個(gè)節(jié)點(diǎn)，整個(gè)圖的攝動(dòng)增益表示為△F。
其中Latt= D−M⊙A表示替換拉普拉斯矩陣的注意力感知聚合算子。M是 一個(gè)關(guān)注矩陣Mij=µij，其結(jié)構(gòu)與鄰接矩陣a相同，值得注意的是，Mij=Mji 表示M是不對(duì)稱的。與Eq. 5中的拉普拉斯矩陣相反，Latt的參與導(dǎo)致了這 種不對(duì)稱性，從而破壞了拉普拉斯矩陣的頻譜分解。因此，我們將Latt單獨(dú)作為一個(gè)空間增強(qiáng)的聚合算子進(jìn)行強(qiáng)制。特別是，受圖注意力網(wǎng)絡(luò) (GAT)模型[30]的啟發(fā)，我們采用了一種注意力機(jī)制來(lái)動(dòng)態(tài)計(jì)算每個(gè)相鄰 節(jié)點(diǎn)的注意力系數(shù)µij，如下所示:
其中hi∈RF表示節(jié)點(diǎn)i的特征，F(xiàn)表示節(jié)點(diǎn)特征的通道數(shù)，W∈RF’×F是可學(xué)習(xí)的線性變換參數(shù)，α(·)是單層前饋神經(jīng)網(wǎng)絡(luò)。eij計(jì)算節(jié)點(diǎn)I和節(jié)點(diǎn)j之間的關(guān)聯(lián)程度∈Ni。µij是我們上面提到的注意力放大系數(shù)，取值范圍在[1, 2]中。
Latt引入的基本創(chuàng)新在于，在拉普拉斯矩陣框架內(nèi)，在計(jì)算圖中每個(gè) 節(jié)點(diǎn)的擾動(dòng)增益時(shí)，將注意力得分作為補(bǔ)充權(quán)重。這個(gè)算子的設(shè)計(jì)是為 了解決拉普拉斯矩陣的局限性，傳統(tǒng)上，它捕捉的是直接的本地關(guān)系。通過無(wú)縫集成注意力分?jǐn)?shù)，Latt增強(qiáng)了 節(jié)點(diǎn)聚合的適應(yīng)性，在本地聚合過程中提供了一種更靈活的機(jī)制來(lái)捕獲和整 合來(lái)自相鄰節(jié)點(diǎn)的細(xì)微信息。
將聚合算子Latt引入到譜GCN模型中，得到AoSE-GCN模型，該模型通過空間聚合進(jìn)行圖表示學(xué)習(xí)，增強(qiáng)了GCN模型。特別地，我們使用隨機(jī)游走歸一化將Latt表示為L(zhǎng)rwatt = In−D−1 (M⊙A)，并將其代入Eq. 3，作為原始拉普拉斯矩陣的替換:
隨后，我們采用重整化技巧[19]，將D−1 (M⊙a(bǔ))替換為a ~ att。最后，我們有:
當(dāng)將圖信號(hào)擴(kuò)展到每個(gè)節(jié)點(diǎn)特征向量具有f維的節(jié)點(diǎn)特征矩陣X∈Rn×F時(shí)， 卷積操作定義如下:
其中H (r)∈Rn×F′為第r層的卷積輸出特征，H (0) = X, W (r)∈RF′×C ′ 為第r層的可學(xué)習(xí)權(quán)參數(shù)矩陣。形式上，我們認(rèn)為雙層AoSE-GCN為:
Y∈R n×C表示節(jié)點(diǎn)分類的預(yù)測(cè)結(jié)果。
AoSE-GCN的關(guān)鍵創(chuàng)新在于用注意力感知聚合算子取代傳統(tǒng)的拉普拉斯 近似卷積算子。該算子賦予全局視角，并為每個(gè)鄰域節(jié)點(diǎn)分配不同的注意力 分?jǐn)?shù)。通過這樣做，AoSE-GCN在局部聚合過程中獲得了識(shí)別和考慮單個(gè)鄰 域節(jié)點(diǎn)重要性的能力。這種向個(gè)性化注意力分?jǐn)?shù)的轉(zhuǎn)變促進(jìn)了圖數(shù)據(jù)中信息 聚合和傳播的更適應(yīng)性、更精確和更靈活的過程。值得注意的是，我們的Latt 并不局限于GCN，任何光譜方法都可以很容易地插入。
我們使用交叉熵?fù)p失函數(shù)來(lái)量化節(jié)點(diǎn)分類任務(wù)中預(yù)測(cè)結(jié)果和實(shí)際結(jié)果之間的差異。
其中C是類的數(shù)量，yL是帶標(biāo)簽的節(jié)點(diǎn)索引集。Ylc表示屬于c類的節(jié)點(diǎn)l的實(shí)際 標(biāo)簽值，Yˆlc為對(duì)應(yīng)的預(yù)測(cè)概率值。
在本節(jié)中，我們?cè)u(píng)估了AoSE-GCN的性能，并將其與幾個(gè)公共圖數(shù)據(jù)集上的基 線模型進(jìn)行了比較。此外，為了突出注意力感知聚合算子Latt的有效性，我們將它們與頻譜GNN(即Chebynet和GCN)集成，以評(píng)估它們的性能。最后，我們可視化了不同模型的學(xué)習(xí)嵌入，以說(shuō)明我們方法的優(yōu)勢(shì)。
為了評(píng)估我們方法的有效性，我們?cè)诓煌臄?shù)據(jù)集上進(jìn)行了半監(jiān)督和完全監(jiān)督 的實(shí)驗(yàn)。表1提供了數(shù)據(jù)集統(tǒng)計(jì)的概述。我們還提供了每個(gè)數(shù)據(jù)集的詳細(xì)解釋， 并描述了我們實(shí)驗(yàn)中使用的具體數(shù)據(jù)分區(qū)。
半監(jiān)督數(shù)據(jù)集。我們利用Cora、Citeseer和Pubmed[27]這三個(gè)廣泛使用的引文網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行半監(jiān)督節(jié)點(diǎn)分類。在引文網(wǎng)絡(luò)中，圖結(jié)構(gòu)保持同構(gòu)，其中節(jié)點(diǎn)表示文檔，邊表示文檔之間的引文關(guān)系。每個(gè)節(jié)點(diǎn)都與特征嵌入相關(guān)聯(lián)，特征嵌入對(duì)相應(yīng)文檔中的代表性單詞進(jìn)行編碼。為了進(jìn)行我們的半監(jiān)督實(shí)驗(yàn)，我們遵循了將數(shù)據(jù)集[35]分成訓(xùn)練集、驗(yàn)證集和測(cè)試集的既定方法。具體來(lái)說(shuō)，對(duì)于 數(shù)據(jù)集中的每個(gè)類，我們使用每個(gè)類20個(gè)節(jié)點(diǎn)進(jìn)行訓(xùn)練，500個(gè)節(jié)點(diǎn)進(jìn)行驗(yàn)證， 1000個(gè)節(jié)點(diǎn)進(jìn)行測(cè)試。
全監(jiān)督數(shù)據(jù)集。我們使用了一個(gè)名為actor[16]的行動(dòng)者共現(xiàn)網(wǎng)絡(luò)以及三個(gè)網(wǎng) 頁(yè)數(shù)據(jù)集:Cornell, Texas和wisconsin -sin[25]，用于完全監(jiān)督節(jié)點(diǎn)分類。Actor 數(shù)據(jù)集捕獲從維基百科頁(yè)面中提取的參與者之間的共現(xiàn)關(guān)系，其中節(jié)點(diǎn)特征 是基于從參與者各自的維基百科頁(yè)面中獲得的相關(guān)關(guān)鍵字構(gòu)建的。在網(wǎng)頁(yè)數(shù) 據(jù)集中，節(jié)點(diǎn)表示不同網(wǎng)頁(yè)之間的超鏈接，每個(gè)節(jié)點(diǎn)的特征對(duì)應(yīng)于與網(wǎng)頁(yè)內(nèi) 容相關(guān)的代詞的嵌入表示。為了確保標(biāo)準(zhǔn)化的方法，我們遵循了先前研究中 提出的方法來(lái)進(jìn)行完全監(jiān)督的實(shí)驗(yàn)。具體來(lái)說(shuō)，對(duì)于每個(gè)數(shù)據(jù)集，我們將每 個(gè)類的節(jié)點(diǎn)隨機(jī)劃分為訓(xùn)練集(60%)、驗(yàn)證集(20%)和測(cè)試集(20%)。所有模 型的性能在10個(gè)隨機(jī)分割的測(cè)試集上進(jìn)行測(cè)量。
為了評(píng)估我們方法的有效性，我們與幾種成熟的深度學(xué)習(xí)方法進(jìn)行了比較實(shí) 驗(yàn)。LP (Label Prop-agation)[38]采用高斯隨機(jī)場(chǎng)模型來(lái)探索結(jié)構(gòu)和標(biāo)簽信息。 JK-Net[33]通過考慮每個(gè)節(jié)點(diǎn)不同的鄰域范圍，利用密集連接來(lái)改進(jìn)學(xué)習(xí)表 示。Chebynet[7]使用Chebyshev多項(xiàng)式近似有效地執(zhí)行譜圖卷積。GCN[19]是 Chebynet的簡(jiǎn)化，只關(guān)注一階Chebyshev多項(xiàng)式。GAT[30]采用注意機(jī)制學(xué)習(xí)不同的節(jié)點(diǎn)權(quán)重得分。
對(duì)于包括LP、JK-Net和GAT在內(nèi)的幾種基線方法，我們使用文章[17]中報(bào)告 的結(jié)果進(jìn)行比較。對(duì)于其余的方法，我們根據(jù)作者指定的pa- parameter設(shè)置 在我們的實(shí)驗(yàn)環(huán)境中手動(dòng)實(shí)現(xiàn)。此外，為了進(jìn)一步有效地演示所提出的注意 力感知聚合算子Latt，我們簡(jiǎn)單地將其合并到Chebynet模型中，命名為AoSEChebynet，以進(jìn)行比較。
對(duì)于半監(jiān)督和全監(jiān)督實(shí)驗(yàn)的評(píng)價(jià)任務(wù)，我們?cè)O(shè)置Adam SGD[18]作為優(yōu) 化算法。在訓(xùn)練過程中，我們通過監(jiān)測(cè)驗(yàn)證集上的最佳訓(xùn)練性能，以固定 的epoch數(shù)實(shí)現(xiàn)早期停止，以減輕過度擬合的風(fēng)險(xiǎn)。我們使用模型隱藏層的 L2范數(shù)和權(quán)重衰減系數(shù)作為損失函數(shù)的懲罰項(xiàng)，這提高了模型的泛化能力。 對(duì)于我們模型中使用的超參數(shù)，表2總結(jié)了AoSE-GCN，它在驗(yàn)證數(shù)據(jù)集上達(dá)到了最佳性能。
表3給出了半監(jiān)督分類的各種指標(biāo)的結(jié)果。正如我們所看到的，就所有指標(biāo) 而言，AoSE-GCN比基線GCN模型表現(xiàn)得更好。同樣，與Chebynet基線模型 相比，AoSE-Chebynet也獲得了具有競(jìng)爭(zhēng)力的結(jié)果。這一觀察得出的結(jié)論是， 我們的注意力感知聚合算子有效地增強(qiáng)了像GCN和Chebynet這樣的模型， 它們都依賴于Chebyshev多項(xiàng)式近似的卷積。當(dāng)應(yīng)用于同構(gòu)圖數(shù)據(jù)集時(shí)，這種增強(qiáng)尤為顯著。
在表4中，我們給出了異構(gòu)圖數(shù)據(jù)集上完全監(jiān)督節(jié)點(diǎn)分類的結(jié)果。值得注意的是，基線模型Chebynet在異構(gòu)圖結(jié)構(gòu)上下文中驚人地優(yōu)于GCN方法。 這種現(xiàn)象可能歸因于GCN模型是拉普拉斯平滑的一種特殊情況，它可以更 快地進(jìn)行過度平滑，特別是在較小的數(shù)據(jù)集上，如[23]所示。然而，AoSEGCN和AoSE-Chebynet模型的引入證明了這一點(diǎn)，應(yīng)用于異構(gòu)圖時(shí)，與基本模型相比，性能上的改進(jìn)。
在圖1中，我們使用t-SNE來(lái)可視化地表示我們的模型和基本模型在Pubmed 數(shù)據(jù)集上提取的節(jié)點(diǎn)嵌入。我們可以通過Latt改進(jìn)的模型，即AoSE-GCN和 AoSE-Chebynet，可以更好地分離不同的節(jié)點(diǎn)組。這意味著Latt通過同時(shí)考慮 全局和局部信息來(lái)提示圖表示學(xué)習(xí)。
此外，我們?cè)趫D2中比較了基本模型和增強(qiáng)模型在學(xué)術(shù)數(shù)據(jù)集上的收斂速度。我們觀察到AoSE-GCN和AoSE-Chebynet具有更快的收斂速度。這可以歸因于鄰域特征的加權(quán)聚合。
通過深入研究拉普拉斯矩陣在GNN聚合過程中的關(guān)鍵作用，我們的創(chuàng)新采用 了注意力感知聚合算子的形式，旨在取代拉普拉斯矩陣的傳統(tǒng)使用。該算子 無(wú)縫集成到圖卷積網(wǎng)絡(luò)(GCN)模型中，從而產(chǎn)生了新的AoSE-GCN方法。Latt 的結(jié)合。
授權(quán)模型通過注意機(jī)制選擇性地聚合相鄰信息。從空間角度來(lái)看，這一添 加有效地提升了GCN和Chebynet等經(jīng)典GNN模式。在未來(lái)的工作中，我們 的目標(biāo)是通過將AoSE-GCN與剩余機(jī)制和多尺度機(jī)制等先進(jìn)技術(shù)協(xié)同作用 來(lái)解決平滑問題。
