日前，實(shí)驗(yàn)室博士生韓明哲作為第一作者的論文“FedCIA: Federated Collaborative Information Aggregation for Privacy-Preserving Recommendation”被The ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR) 會(huì)議錄用。

高效的用戶信息隱私保護(hù)共享是提升可信人智協(xié)同推薦性能的關(guān)鍵。論文提出了一種全新的聚合范式，聚焦于捕捉人類用戶間的協(xié)同信息，突破了傳統(tǒng)聯(lián)邦學(xué)習(xí)對(duì)于參數(shù)的高度依賴，通過嚴(yán)格的理論分析與證明、全面綜合的實(shí)驗(yàn)，充分驗(yàn)證了FedCIA的有效性和高效性，為可信人智協(xié)同推薦提供了創(chuàng)新思路和堅(jiān)實(shí)基礎(chǔ)。

會(huì)議簡(jiǎn)介

The ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR)會(huì)議是信息檢索領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議，由國(guó)際計(jì)算機(jī)學(xué)會(huì)（ACM）主辦，是中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦的A類國(guó)際學(xué)術(shù)會(huì)議。該會(huì)議聚焦信息檢索（IR）領(lǐng)域的前沿理論與技術(shù)，涵蓋用戶行為分析、搜索算法、推薦系統(tǒng)等方向，具有全球?qū)W術(shù)與產(chǎn)業(yè)影響力。該會(huì)議計(jì)劃于2025年7月13日至18日在意大利帕多瓦召開。

論文簡(jiǎn)介

FedCIA：利用協(xié)同信息聚合的聯(lián)邦推薦系統(tǒng)

論文鏈接：https://arxiv.org/html/2504.14208v1 

現(xiàn)有的聯(lián)邦推薦系統(tǒng)通常遵循一個(gè)統(tǒng)一的范式。每個(gè)客戶端根據(jù)自身數(shù)據(jù)訓(xùn)練各自的推薦模型，隨后在聚合步驟中將embedding參數(shù)分為用戶和物品兩部分，其中用戶參數(shù)因?yàn)榘擞脩綦[私被客戶端保存在本地，物品參數(shù)則會(huì)被上傳并聚合在中央服務(wù)器上，聚合后的物品參數(shù)被分發(fā)回客戶端，用于下一輪訓(xùn)練。這種方法將不同的用戶模型對(duì)齊到一個(gè)參數(shù)空間中，使客戶端能夠更有效利用全局信息進(jìn)行推薦。

雖然這種聚合方案效果顯著，并被廣泛利用在各種聯(lián)邦推薦系統(tǒng)中，但其存在著潛在的問題。首先，這種聚合方案大多是通過參數(shù)求和方式完成的，當(dāng)某一物品在兩個(gè)客戶端分布完全相反時(shí)，他們的分布會(huì)因?yàn)榍蠛投坏窒?，造成信息丟失。其次，這種聚合方案讓所有的客戶端的物品都處于同一分布下，但種分布不是對(duì)于每一個(gè)客戶端都是最優(yōu)的，影響了個(gè)性化用戶建模。最后，這種方案要去客戶端模型參數(shù)，特別是物品embedding維度一致，缺乏可擴(kuò)展性。 

我們認(rèn)為，這些問題的根本原因在于聯(lián)邦學(xué)習(xí)聚合方法對(duì)推薦系統(tǒng)中模型參數(shù)的過度依賴。為了解決這一問題，我們重新思考了推薦系統(tǒng)模型的本質(zhì)，我們注意到，近年來深度學(xué)習(xí)的優(yōu)越表現(xiàn)鼓勵(lì)研究人員用復(fù)雜的網(wǎng)絡(luò)參數(shù)化用戶和物品，卻忽視了推薦系統(tǒng)中起到根本作用的協(xié)同信息，即用戶與物品的相似度?；谶@一發(fā)現(xiàn)，當(dāng)聯(lián)邦學(xué)習(xí)框架中參數(shù)聚合中存在限制時(shí)，重新考慮協(xié)同信息的重要性變得至關(guān)重要。

圖1 聯(lián)邦推薦系統(tǒng)中的兩種聚合范式 

基于這一思想，我們提出一種新的范式：協(xié)同信息聚合范式。如圖1所示，圖1（a）表示了各個(gè)客戶端在聚合前的分布，圖1（b）表示了現(xiàn)有聯(lián)邦學(xué)習(xí)基于參數(shù)的聚合方案，其將參數(shù)強(qiáng)行映射到了一個(gè)空間，因此存在上述問題，而我們提出了全新的范式（圖1（c）），讓物品協(xié)同信息在各個(gè)客戶端保持一致，且不強(qiáng)行更改其分布。

協(xié)同信息聚合 

圖2 FedCIA的基本架構(gòu)  

如圖2所示，我們提出了FedCIA，一種聯(lián)邦協(xié)同信息聚合框架。與傳統(tǒng)聯(lián)邦推薦系統(tǒng)不同，該方法不再上傳物品的embedding參數(shù)，而是對(duì)參數(shù)進(jìn)行兩兩點(diǎn)乘，計(jì)算其全局物品相似度矩陣，并上傳該矩陣進(jìn)行聚合。聚合后的相似度矩陣無法直接部署在客戶端模型中，因此客戶端模型根據(jù)全局相似度矩陣進(jìn)行微調(diào)來近似全局協(xié)同信息。

理論分析

直覺上來說，聚合協(xié)同信息是一個(gè)有效的聯(lián)邦推薦方法，但其缺乏相關(guān)的理論證明。因此我們基于圖信號(hào)處理理論，對(duì)協(xié)同信息聚合進(jìn)行了分析。我們假設(shè)兩個(gè)場(chǎng)景，第一個(gè)場(chǎng)景下，用戶并不關(guān)注自身的隱私，并將交互數(shù)據(jù)直接上傳到服務(wù)器進(jìn)行推薦。

第二個(gè)場(chǎng)景下，用戶關(guān)注自身的隱私，并各自訓(xùn)練推薦模型后進(jìn)行協(xié)同信息聚合。

我們分析了這兩個(gè)場(chǎng)景下的推薦模型，并注意到在不考慮物品的全局流行度的前提下，這兩個(gè)場(chǎng)景的推薦模型完全一致。

這說明對(duì)協(xié)同信息的聚合可以近似于直接使用全局隱私信息進(jìn)行訓(xùn)練，進(jìn)而展現(xiàn)了協(xié)同信息聚合的有效性。

理論分析

表1 FedCIA實(shí)驗(yàn)結(jié)果 

我們?cè)?個(gè)常用推薦數(shù)據(jù)集上進(jìn)行試驗(yàn)，結(jié)果如表1所示?？梢宰⒁獾剑捎谖覀兊姆椒ūＡ袅四Ｐ偷膫€(gè)性化信息，因此效果均優(yōu)于現(xiàn)有的聯(lián)邦推薦系統(tǒng)方法

圖3 不同范式下物品參數(shù)的分布 

我們統(tǒng)計(jì)了我們的方法與傳統(tǒng)聯(lián)邦推薦系統(tǒng)方法的物品參數(shù)分布，如圖3所示?？梢宰⒁獾?，我們的方法在不同客戶端上有著不同的物品分布，這表明我們的方法可以更好地建模模型的個(gè)性化信息。

總結(jié)

本工作提出了全新的聯(lián)邦推薦系統(tǒng)范式，該范式利用相似度聚合取代了參數(shù)聚合，因此有著更強(qiáng)大的個(gè)性化建模能力與可擴(kuò)展性。試驗(yàn)結(jié)果表明，該范式由于現(xiàn)有的基于參數(shù)聚合的聯(lián)邦推薦系統(tǒng)方法。

如果您對(duì)本文內(nèi)容感興趣，可與通訊作者聯(lián)系: zhangpeng_@fudan.edu.cn

實(shí)驗(yàn)室相關(guān)論文

[1] Dongsheng Li, Chao Chen, Qin Lv, Li Shang, Yingying Zhao, Tun Lu, Ning Gu. An Algorithm for Efficient Privacy-preserving Item-based Collaborative Filtering. FGCS 2016. （Google Scholar 統(tǒng)計(jì)引用次數(shù)：144）

[2] Jiahao Liu, Yiyang Shao, Peng Zhang, Dongsheng Li, Hansu Gu, Chao Chen, Longzhi Du, Tun Lu, Ning Gu. Filtering Discomforting Recommendations with Large Language Models. WWW 2025.

[3] Jiahao Liu, Dongsheng Li, Hansu Gu, Tun Lu, Peng Zhang, Li Shang and Ning Gu. Personalized Graph Signal Processing for Collaborative Filtering. WWW 2023.

[4] Yubo Shu, Haonan Zhang, Hansu Gu, Peng Zhang, Tun Lu, Dongsheng Li, Ning Gu. RAH! RecSys-Assistant-Human: A Human-Centered Recommendation Framework With LLM Agents. TCSS 2024.

如果您對(duì)我們實(shí)驗(yàn)室的相關(guān)工作感興趣，歡迎訪問我們的網(wǎng)站：

協(xié)同信息與系統(tǒng)（CISL）實(shí)驗(yàn)室

實(shí)驗(yàn)室網(wǎng)站主頁：https://cscw.fudan.edu.cn/

實(shí)驗(yàn)室Github主頁：https://github.com/FudanCISL