2424
16
1
2021-11-10 17:00:41
2021-11-10
近期團隊有兩篇中文論文被計算機學報錄用：
1. 知識蒸餾研究綜述
作者：黃震華， 楊順志，林 威， 倪 娟，孫圣力，陳運文，湯 庸
摘要：高性能的深度學習網(wǎng)絡(luò)通常是計算和參數(shù)密集型的，難以應用于資源受限的邊緣設(shè)備.為了能夠在低資源設(shè)備上運行深度學習模型，需要研發(fā)高效的小規(guī)模網(wǎng)絡(luò).知識蒸餾是獲取高效小規(guī)模網(wǎng)絡(luò)的一種新興方法，其主要思想是將學習能力強的復雜教師模型中的“知識”遷移到簡單的學生模型中.同時，它通過神經(jīng)網(wǎng)絡(luò)的互學習、自學習等優(yōu)化策略和無標簽、跨模態(tài)等數(shù)據(jù)資源對模型的性能增強也具有顯著的效果.基于在模型壓縮和模型增強上的優(yōu)越特性，知識蒸餾已成為深度學習領(lǐng)域的一個研究熱點和重點.本文從基礎(chǔ)知識,理論方法和應用等方面對近些年知識蒸餾的研究展開全面的調(diào)查，具體包含以下內(nèi)容：(1)回顧了知識蒸餾的背景知識，包括它的由來和核心思想；(2)解釋知識蒸餾的作用機制；(3)歸納知識蒸餾中知識的不同形式，分為輸出特征知識、中間特征知識、關(guān)系特征知識和結(jié)構(gòu)特征知識；(4)詳細分析和對比了知識蒸餾的各種關(guān)鍵方法，包括知識合并、多教師學習、教師助理、跨模態(tài)蒸餾、相互蒸餾、終身蒸餾以及自蒸餾；(5)介紹知識蒸餾與其它技術(shù)融合的相關(guān)方法，包括生成對抗網(wǎng)絡(luò)、神經(jīng)架構(gòu)搜索、強化學習、圖卷積、其它壓縮技術(shù)、自動編碼器、集成學習以及聯(lián)邦學習；(6)對知識蒸餾在多個不同領(lǐng)域下的應用場景進行了詳細的闡述；(7)討論了知識蒸餾存在的挑戰(zhàn)和未來的研究方向.
2. 會話場景下基于特征增強的圖神經(jīng)推薦方法
作者：黃震華， 林小龍，孫圣力，湯 庸，陳運文
摘要：基于圖神經(jīng)網(wǎng)絡(luò)的會話推薦（簡稱圖神經(jīng)會話推薦）是近年來 推薦系統(tǒng)領(lǐng)域的一個研究重點和熱點，這主要是因為它們引入了會話圖拓撲結(jié)構(gòu)信息來提高物品和會話特征表示的準確性，因而 ，在一定程度上提升了 會話推薦的性能。然而，現(xiàn)有圖神經(jīng)會話推薦方法仍然存在兩方面的不足，從而影響其性能 ：1）它們所構(gòu)建的會話圖中物品間的相關(guān)性權(quán)重均是在模型訓練之前就預先指定并保持固定不變，導致不能準確捕捉物品間的相關(guān)性 ；2）它們只從單個會話的物品序列中產(chǎn)生物品和會話的局部特征，而缺乏從整個會話數(shù)據(jù)集出發(fā)，全局考慮不同物品之間以及不同會話之間的相關(guān)性，并由此來生成物品和會話的全局特征，從而充分表示物品和會話的語義特征。為此，本文 提出了一種新穎的會話場景下基于特征增強的圖神經(jīng)推薦方法FA-GNR（Feature Augmentation based Graph Neural Recommendation）。FA-GNR方法首先基于單個會話構(gòu)建物品間相關(guān)性權(quán)重可學習優(yōu)化的會話圖，并借鑒GRU（Gated Recurrent Unit）神經(jīng)網(wǎng)絡(luò)來產(chǎn)生物品局部特征，同時基于會話數(shù)據(jù)集，通過GloVe（Global Vectors）詞嵌入方法產(chǎn)生物品全局特征，從而融合物品的局部和全局特征來生成其語義特征。然后，F(xiàn)A-GNR方法基于物品語義特征，利用局部注意力機制來產(chǎn)生會話的局部特征，同時基于物品的全局特征，并通過全局注意力機制來產(chǎn)生會話的全局特征，從而融合會話的局部和全局特征來生成其語義特征。最后，在物品和會話語義特征的基礎(chǔ)上，F(xiàn)A-GNR方法通過交叉熵損失來學習給定會話下不同物品的點擊概率分布。在多個公開數(shù)據(jù)集上的實驗結(jié)果表明，F(xiàn)A-GNR方法的推薦性能優(yōu)于目前主流的方法。
