日前，實驗室博士生劉家豪作為第一作者的論文Filtering Discomforting Recommendations with Large Language Models被The ACM Web Conference 2025 會議錄用。

個性化算法可能會無意中將用戶暴露于令人不適的推薦內(nèi)容中，從而可能引發(fā)負面后果。不適感的主觀性及算法的黑箱特性使得有效識別和過濾此類內(nèi)容頗具挑戰(zhàn)。為解決這一問題，我們首先開展了一項形成性研究，以了解用戶在過濾不適推薦內(nèi)容方面的實踐與期望。隨后，我們設(shè)計了一款基于大語言模型的工具 DiscomfortFilter。該工具可為用戶構(gòu)建可編輯的偏好畫像，并通過對話幫助用戶表達過濾需求，從而在畫像中屏蔽不適的偏好?；诰庉嫼蟮?/span>畫像，DiscomfortFilter以即插即用的方式實現(xiàn)不適推薦過濾，同時保持靈活性與透明度。構(gòu)建的偏好畫像能提升大語言模型的推理能力并簡化用戶對齊，使一個38 億參數(shù)的開源大語言模型在離線代理任務(wù)中可與頂尖商業(yè)模型媲美。為期一周、包含 24 名參與者的用戶研究驗證了DiscomfortFilter的有效性，同時表明該工具通過調(diào)控內(nèi)容暴露，有效減少了平臺推薦結(jié)果中的不適內(nèi)容。最后，我們討論了當前面臨的挑戰(zhàn)，強調(diào)其與更廣泛研究領(lǐng)域的關(guān)聯(lián)性，評估對各利益相關(guān)方的影響，并展望未來的研究方向。

會議簡介

The ACM Web Conference (WWW) 是一年一度的國際會議，探討萬維網(wǎng)的未來發(fā)展方向，是中國計算機學會推薦的交叉/新興/綜合領(lǐng)域的 A 類國際學術(shù)會議。該會議旨在為全球提供一個頂級論壇，以討論和辯論 Web 的演進、相關(guān)技術(shù)的標準化，以及這些技術(shù)對社會和文化的影響。大會匯聚了研究人員、開發(fā)者、用戶和商業(yè)機構(gòu)——所有對 Web 及其潛力充滿熱情的人士。今年，該會議計劃于 2025 年 4 月 28 日至 5 月 2 日在澳大利亞悉尼召開。本屆WWW會議共收到2062篇有效投稿，其中409篇論文被接收，錄用率19.8%。

論文簡介

用大語言模型過濾令人不適的推薦內(nèi)容

論文鏈接：https://arxiv.org/abs/2410.05411

代碼倉庫：https://github.com/Hsyy04/PersonaBuddy

個性化算法通過分析用戶偏好來提供定制化內(nèi)容，從而支持用戶決策，在各類網(wǎng)絡(luò)平臺上已成為不可或缺的工具。盡管這些算法旨在提升用戶體驗，但它們可能無意間向用戶推薦令人不適的內(nèi)容。例如，如果用戶搜索與健康相關(guān)的敏感話題，算法可能會推薦相關(guān)的健康產(chǎn)品，這可能被用戶視為對隱私的侵犯，從而引發(fā)不適。同樣，當用戶處于情緒低落的狀態(tài)（如剛經(jīng)歷分手），缺乏情境感知能力的算法可能會推薦喚起痛苦回憶的內(nèi)容，從而加劇用戶的情緒困擾。這些推薦不僅可能無法吸引用戶，甚至可能帶來焦慮、不安或痛苦等負面情緒后果。不適感的感知極具主觀性，也就是說，一個用戶認為有趣的內(nèi)容，可能會讓另一個用戶感到不適。這種主觀性凸顯了對不適內(nèi)容識別方法的迫切需求，即方法需要更加細致入微，并能更好地貼合個體用戶的體驗。

在本文中，我們旨在設(shè)計一款幫助用戶過濾不適推薦內(nèi)容的工具。這一任務(wù)面臨兩個關(guān)鍵挑戰(zhàn)：(1) 用戶對不適內(nèi)容的感知高度主觀；(2) 推薦此類內(nèi)容的算法通常是黑箱系統(tǒng)。如圖 1 所示，我們將問題形式化如下：黑箱個性化算法根據(jù)推測的用戶偏好畫像（通常隱含在嵌入表示中）向用戶推薦內(nèi)容，我們的目標是識別并過濾用戶主觀認為不適的內(nèi)容。由于算法系統(tǒng)的不透明性，用戶的偏好畫像既難以理解也無法編輯，使用戶難以影響算法的決策。

圖1 問題定義

形成性研究

為指導設(shè)計過程，我們首先開展了一項形成性研究，以深入了解當前現(xiàn)狀及用戶的需求與期待。通過半結(jié)構(gòu)化訪談，我們識別了導致不適推薦的幾個關(guān)鍵因素，包括：(1) 用戶行為的偏離。用戶的搜索和點擊行為可能受到好奇心驅(qū)動或點擊誘導（如標題黨）的影響，導致推薦算法誤判其長期興趣，從而構(gòu)建出偏差的用戶偏好模型。例如，一位參與者提到：“出于好奇，我曾經(jīng)搜索過成人用品，現(xiàn)在這些內(nèi)容一直出現(xiàn)在我的推薦里，太尷尬了。”(2) 算法建模偏差。個性化算法難以全面捕捉用戶的細微興趣和實際使用情境，可能導致推薦內(nèi)容在不合適的時間出現(xiàn)。例如，有參與者表示：“晚上刷到恐怖內(nèi)容太嚇人了，雖然我白天會看。”(3) 不同利益相關(guān)方的沖突。平臺通常會優(yōu)先推薦能夠提高用戶參與度的內(nèi)容，即使這些內(nèi)容可能引發(fā)不適。有多名參與者提到，他們察覺到平臺在個性化推薦中的商業(yè)目標可能與用戶的舒適體驗存在沖突。

在此基礎(chǔ)上，我們進一步分析了當前反饋機制（即“不感興趣”按鈕）的局限性，主要體現(xiàn)在以下三個方面：(1) 個性化程度不足。由于反饋選項過于模糊，用戶難以準確表達具體的過濾原因，可能導致本可以接受的內(nèi)容被誤刪。(2) 缺乏靈活性。用戶可能只是暫時希望隱藏某類內(nèi)容，但使用反饋后，這些內(nèi)容可能會被永久性移除。(3) 透明度缺失。用戶無法確定平臺是否真正采納了自己的反饋，導致對反饋機制的有效性缺乏信任。

基于上述發(fā)現(xiàn)，我們通過參與式設(shè)計討論，總結(jié)并提出了四個關(guān)鍵設(shè)計目標，以指導工具的開發(fā)：(1) 支持對話式配置。多數(shù)參與者表示，他們更傾向于使用自然語言表達過濾需求，因為這樣“不會受到預(yù)設(shè)選項的限制”，并且“可以更準確、更個性化地表達”。此外，多名參與者希望能夠通過與工具對話的方式配置過濾規(guī)則，因為這種方式“更加自然”。(2) 提供偏好解釋。當輸入方式從預(yù)設(shè)選項轉(zhuǎn)向開放式對話時，部分參與者表示，他們在主動表達過濾需求時會感到困難。然而，所有參與者都認同，如果能夠理解平臺推薦所反映的偏好以及自身的行為模式，就更容易精準表達過濾需求。例如，一位參與者提到：“如果我能先查看自己的偏好，再對不準確的部分進行有針對性的反饋，那就太好了。”(3) 提供反饋渠道。所有參與者均希望工具具備透明性，并允許用戶對過濾結(jié)果提出異議。能夠查看被過濾內(nèi)容及其原因，有助于“增強對工具的信任”，而支持用戶調(diào)整過濾規(guī)則則可以“優(yōu)化過濾需求”。(4) 以即插即用的方式運行。即插即用模式意味著該工具可以獨立于特定的個性化算法運行，并直接影響算法的輸出。支持該模式的關(guān)鍵因素包括：參與者意識到他們的過濾需求是動態(tài)變化的，因為“不同情境下，不適內(nèi)容的標準也會變化”；多名參與者強調(diào)，該工具應(yīng)由用戶自主掌控，使其能夠“跨平臺使用”；參與者更關(guān)注個性化推薦所帶來的不適，而非算法的具體工作機制。

系統(tǒng)設(shè)計

鑒于大語言模型（LLM）在自然語言理解、推理和生成方面的能力，我們認為 LLM 為實現(xiàn)這些設(shè)計目標提供了有前景的解決方案。為此，我們設(shè)計了一款基于 LLM 的工具 DiscomfortFilter，專門用于幫助用戶過濾不適推薦內(nèi)容。圖 2 展示了 DiscomfortFilter 的工作流程：(1) DiscomfortFilter 根據(jù)用戶的個性化感知識別算法推薦的內(nèi)容，整合用戶的成對偏好，并對其進行排序，以構(gòu)建可理解且可編輯的個性化偏好畫像；(2) 通過引導式對話，DiscomfortFilter 幫助用戶表達個性化的過濾需求，并在畫像中屏蔽不適的偏好；(3) 基于編輯后的偏好畫像，DiscomfortFilter 以即插即用的方式過濾不適推薦，確保用戶所見內(nèi)容不再包含令人不適的元素。此外，DiscomfortFilter 還向用戶提供過濾日志（步驟 3），幫助用戶進一步完善過濾需求，類似于步驟 2?？傮w而言，DiscomfortFilter 使用戶能夠主動影響個性化算法的決策，增強對算法的掌控力。

圖2 DiscomfortFilter的工作流程

圖 3 展示了在引入DiscomfortFilter之前，個性化算法向用戶呈現(xiàn)內(nèi)容的流程。這些算法會分析用戶行為，以推薦內(nèi)容，其中可能包含讓用戶感到不適的內(nèi)容。最終，系統(tǒng)將個性化推薦的內(nèi)容直接呈現(xiàn)在用戶設(shè)備上，供用戶被動消費。

圖3 引入DiscomfortFilter前個性化算法向用戶呈現(xiàn)內(nèi)容的流程

圖 4 的上半部分展示了在引入 DiscomfortFilter 之后，個性化算法如何向用戶呈現(xiàn)內(nèi)容。通過在原有的推薦流程中集成內(nèi)容過濾模塊（Content Filter Module），DiscomfortFilter 能夠移除不適內(nèi)容，確保最終呈現(xiàn)給用戶的僅為非不適內(nèi)容。不適內(nèi)容的識別依據(jù)用戶自定義的過濾規(guī)則，使用戶能夠?qū)?nèi)容推薦過程進行控制。過濾規(guī)則以自然語言形式存在，對 DiscomfortFilter 的運行至關(guān)重要。圖 4 的下半部分展示了用戶如何配置這些規(guī)則。用戶可以直接管理這些規(guī)則（綠色箭頭），或者使用過濾需求發(fā)現(xiàn)模塊（Filtering Needs Discovery Module）通過對話方式進行規(guī)則配置（藍色箭頭）。該對話代理采用兩種策略來幫助用戶識別過濾需求：第一種策略基于偏好畫像構(gòu)建模塊（Preference Profile Construction Module）構(gòu)建的偏好畫像，第二種策略基于內(nèi)容過濾模塊（Content Filter Module）的過濾記錄。候選規(guī)則生成模塊（Candidate Rule Generation Module）通過對話分析用戶的過濾需求，并將其轉(zhuǎn)換為管理過濾規(guī)則的操作，用戶隨后可以編輯和確認這些規(guī)則。

圖4 DiscomfortFilter的細節(jié)設(shè)計

各模塊具體的細節(jié)請參考原文，這里，我們僅介紹偏好畫像構(gòu)建模塊。該模塊通過分析用戶按時間順序?qū)ν扑]內(nèi)容的點擊行為來構(gòu)建用戶偏好畫像。該過程與傳統(tǒng)的個性化算法研究有三個關(guān)鍵區(qū)別：(1) 它僅基于單個用戶的行為建模偏好，而不是所有用戶的行為；(2) 它通過捕捉用戶點擊的內(nèi)容以及用戶選擇忽略的推薦項，提供更全面的隱式反饋；(3) 它必須實時執(zhí)行，能夠即時響應(yīng)用戶的點擊。該過程的關(guān)鍵在于，將用戶對推薦內(nèi)容的點擊行為總結(jié)為由特征組成的偏好畫像，并在一段時間內(nèi)保持該畫像的更新。如圖 5 所示，我們提出了一種基于 LLM 的多智能體流水線來完成這一過程。我們采用了成對排序?qū)W習（pairwise rank learning）的一般假設(shè)——當兩個內(nèi)容同時展示時，被點擊的內(nèi)容對用戶更具吸引力。對于每個被點擊的內(nèi)容（記為 pos，表示正樣本），該模塊會隨機抽取一個同時出現(xiàn)但未被點擊的內(nèi)容作為負樣本（記為 neg），然后構(gòu)造一個有序?qū)?。需要注意的是，pos 和 neg 均為未經(jīng)處理的原始內(nèi)容。隨后，該有序?qū)M入流水線進行處理。

圖5 偏好畫像構(gòu)建模塊

處理流程：（1）感知代理（Perceive Agent）從用戶的角度識別 pos 和 neg，并基于當前的偏好畫像分析用戶為何點擊 pos 而忽略 neg。不同用戶對同一內(nèi)容的關(guān)注點不同，因此，結(jié)合用戶的偏好畫像，感知代理能夠準確識別對用戶最重要的特征。（2）摘要代理（Summary Agent）從感知代理的分析中提取用戶選擇 pos 而非 neg 的原因，并歸納出 m 個 pos feature 和 n 個 neg feature。然后，通過笛卡爾積構(gòu)造 m×n 個有序?qū)?，表示在每個特征對中，用戶更傾向于 pos feature 而非 neg feature。這些有序?qū)γ枋隽颂卣髦g的偏好排序關(guān)系，是用戶偏好建模的基礎(chǔ)。（3）反思代理（Reflect Agent）維護一個有向圖，其中邊的方向從 neg feature 指向 pos feature，邊的權(quán)重表示每個對的出現(xiàn)頻率。當收到摘要代理傳遞的特征對時，它首先合并相似的特征節(jié)點，然后將它們整合進圖中。在合并過程中，首先基于語義相似性識別候選特征，隨后利用 LLM 生成最終的合并結(jié)果。這個有向圖將每次用戶點擊產(chǎn)生的獨立有序?qū)M行整合，從而通過全面的結(jié)構(gòu)信息建模用戶偏好。（4）通過 PageRank 算法對特征節(jié)點進行排序，以得到全面的偏好排名。排名較高的特征通常更符合用戶興趣，而排名較低的特征則可能不那么相關(guān)。

該模塊具有三個特性：（1）偏好畫像是基于特征構(gòu)建的（而非原始內(nèi)容）。（2）通過個性化的內(nèi)容感知來提取特征。（3）采用 PageRank 算法對特征進行全局排序。這種偏好畫像能夠優(yōu)化 LLM 的推理過程，并顯著降低 LLM 對齊用戶偏好的難度。最終，構(gòu)建的偏好畫像會被存儲，并發(fā)送至過濾需求發(fā)現(xiàn)模塊，以增強對話代理的個性化能力，并向用戶提供清晰的解釋。

評估

我們在離線代理任務(wù)中驗證了構(gòu)建的偏好畫像的有效性。結(jié)果如圖 6 所示，構(gòu)造的偏好畫像能夠增強 LLM 的推理能力，顯著降低用戶對齊的難度，使一個 38 億參數(shù)的開源LLM在離線任務(wù)中可與頂級商業(yè)模型媲美。

圖6 線下代理實驗結(jié)果

此外，我們還在知乎上開展了一項為期一周的用戶研究，共有 24 名參與者。研究結(jié)果表明，我們的設(shè)計目標能夠有效幫助用戶表達過濾需求，并成功過濾不適推薦內(nèi)容，而 DiscomfortFilter 在這些方面表現(xiàn)良好。我們進一步分析了 DiscomfortFilter 如何通過影響不適內(nèi)容的曝光來改變平臺推薦結(jié)果。假設(shè) DiscomfortFilter 使用過濾規(guī)則處理 N 個內(nèi)容，其中 n 個內(nèi)容被識別為令人不適，我們定義 n/N 為該規(guī)則的過濾負擔。在為期七天的用戶研究中，我們計算了所有在五天以上仍然有效的過濾規(guī)則的每日平均過濾負擔。從配置這些規(guī)則的當天起，日均過濾負擔的趨勢如圖 7 所示。隨著時間的推移，過濾負擔穩(wěn)步下降，這表明平臺逐漸減少了推薦令人不適的內(nèi)容。這一下降可以歸因于 DiscomfortFilter 的引入，它減少了用戶接觸令人不適的推薦，從而導致用戶與此類內(nèi)容的互動減少。因此，平臺的推薦系統(tǒng)能夠動態(tài)調(diào)整以適應(yīng)用戶不斷變化的偏好，進一步降低推薦令人不適內(nèi)容的可能性。需要強調(diào)的是，從用戶的角度來看，令人不適的推薦會立即消失，因為它們被完全過濾掉了。

圖7 平均過濾負擔變化

討論

① 使用LLM過濾令人不適推薦的挑戰(zhàn)

我們的評估發(fā)現(xiàn)，在利用大語言模型（LLMs）過濾令人不適的推薦內(nèi)容時，存在兩個主要挑戰(zhàn)：（1）LLMs 的錯誤關(guān)聯(lián)。盡管經(jīng)過精心設(shè)計，LLMs 有時仍會將本不令人不適的推薦誤判為包含令人不適的元素，從而導致意外的排除。LLMs 的聯(lián)想能力雖然提升了創(chuàng)造力，但在為用戶做決策時需要更加謹慎的控制。（2）感知對齊不足。盡管我們在偏好畫像構(gòu)建模塊上下了很大功夫，LLMs 仍難以充分理解用戶的主觀體驗，從而削弱了偏好解釋的有效性。讓 LLMs 從“看到用戶所見”過渡到“感知用戶所感”之間，仍存在顯著差距。

② 與推薦系統(tǒng)研究的相關(guān)性

近期的推薦系統(tǒng)研究日益重視用戶體驗。推薦遺忘（recommendation unlearning）是一種使模型遺忘特定用戶興趣的過程，有助于提升透明性與可控性。上下文感知推薦通過更準確地建模上下文因素來提升用戶滿意度。減偏推薦則通過強化多樣性與公平性來應(yīng)對信息繭房的問題。我們的研究強調(diào)了推薦系統(tǒng)設(shè)計中的“以人為本”理念，進一步擴展了以往以算法設(shè)計為主的研究方向。當前的大多數(shù)推薦遺忘技術(shù)只能實現(xiàn)近似遺忘，而將其與 DiscomfortFilter 相結(jié)合后，可以實現(xiàn)精確的興趣遺忘。傳統(tǒng)的上下文感知推薦通常只依賴被動收集的數(shù)據(jù)（如時空信息），而與 DiscomfortFilter 結(jié)合后，更能滿足用戶的個性化需求。近期研究還表明，用戶所感知的多樣性并不能僅通過提供多樣化推薦來實現(xiàn)，而是依賴于用戶的主動探索。盡管我們尚無法確定本研究對信息繭房的具體影響，但我們相信，在適當?shù)囊龑?，DiscomfortFilter 有助于提升用戶對推薦內(nèi)容的理解，從而主動跳出信息繭房。

③ 對平臺的潛在影響

盡管 DiscomfortFilter 并不直接修改平臺的推薦算法，但它會影響用戶所接觸到的內(nèi)容。這種影響可能會改變用戶行為，進而間接影響平臺的數(shù)據(jù)收集和用戶建模。我們認為這種影響是積極的，主要基于兩個原因：第一，研究表明，即使是對推薦內(nèi)容的輕微控制，也能顯著提升用戶的參與意愿。DiscomfortFilter 賦予用戶更大的控制權(quán)，有助于建立信任，并提升他們使用平臺的意愿。第二，避免記錄用戶與令人不適推薦內(nèi)容的交互行為，可以幫助平臺更準確地建模用戶畫像。

④ 研究的局限性與未來方向

我們從以下四個方面闡述了研究的局限性與潛在改進方向：（1）性能方面：兩個挑戰(zhàn)主要源于大語言模型（LLMs）與用戶之間缺乏對齊。一個可能的解決方案是引入交互式驗證過程，根據(jù)用戶反饋調(diào)整 LLMs 的行為，使其更貼合用戶需求。（2）功能方面：本研究目前僅關(guān)注用戶的點擊行為和文本內(nèi)容。未來可以拓展至其他用戶行為和多模態(tài)內(nèi)容的整合。同時，也亟需一個高效的規(guī)則管理機制來支持更復(fù)雜的個性化需求。（3）評估方面：本次研究的參與者大多具有本科學歷，且僅在單一平臺上進行了為期一周的評估。因此，需要開展更大規(guī)模的部署，進行更長期、覆蓋更廣泛人群與多平臺的評估。（4）應(yīng)用方面：DiscomfortFilter 有潛力擴展至其他場景，例如家長監(jiān)管和兒童網(wǎng)絡(luò)內(nèi)容控制。這類應(yīng)用需要進行有針對性的設(shè)計，并充分考慮法律與倫理問題。

總結(jié)

本研究的主要貢獻如下：

• 我們通過 15 名參與者的形成性研究，分析了當前不適推薦過濾的現(xiàn)狀及用戶期望。
• 我們設(shè)計了一款基于 LLM 的工具 DiscomfortFilter 來幫助用戶過濾不適推薦內(nèi)容。據(jù)我們所知，這是首次在這一重要任務(wù)中利用 LLM。
• 我們通過離線代理實驗和用戶研究評估了 DiscomfortFilter，結(jié)果表明該工具能夠有效幫助用戶表達過濾需求并成功過濾不適推薦內(nèi)容。
• 我們討論了使用 LLM 過濾不適推薦的挑戰(zhàn)與機遇，并探討了其更廣泛的影響。

作者信息

如果您對本文內(nèi)容感興趣的話，可以與作者聯(lián)系：

劉家豪 復(fù)旦大學計算機學院協(xié)同信息與系統(tǒng)實驗室 博士研究生

研究方向：推薦系統(tǒng)，人機交互，大語言模型

聯(lián)系方式：jiahaoliu23@m.fudan.edu.cn

實驗室相關(guān)論文

[1] Jiahao Liu, Dongsheng Li, Hansu Gu, Peng Zhang, Tun Lu, Li Shang and Ning Gu. Unbiased Collaborative Filtering with Fair Sampling. SIGIR 2025.

[2] Jiahao Liu*, Xueshuo Yan*, Dongsheng Li, Guangping Zhang, Hansu Gu, Peng Zhang, Tun Lu, Li Shang and Ning Gu. Improving LLM-powered Recommendations with Personalized Information. SIGIR 2025.

[3] Jiahao Liu, Dongsheng Li, Hansu Gu, Tun Lu, Peng Zhang, Li Shang and Ning Gu. Triple Structural Information Modelling for Accurate, Explainable and Interactive Recommendation. SIGIR 2023.

[4] Yubo Shu, Haonan Zhang, Hansu Gu, Peng Zhang, Tun Lu, Dongsheng Li, Ning Gu. RAH! RecSys–Assistant–Human: A Human-Centered Recommendation Framework With LLM Agents. TCSS 2024.

[5] Yaqiong Li, Peng Zhang, Hansu Gu, Tun Lu, Siyuan Qiao, Yubo Shu, Yiyang Shao, Ning Gu. DeMod: A Holistic Tool with Explainable Detection and Personalized Modification for Toxicity Censorship. CSCW 2025.

[6] Wenxin Zhao, Fangyu Yu, Peng Zhang, Hansu Gu, Lin Wang, Siyuan Qiao, Tun Lu, Ning Gu. YouthCare: Building a Personalized Collaborative Video Censorship Tool to Support Parent-Child Joint Media Engagement. CHI 2025.

[7] Baoxi Liu, Peng Zhang, Yubo Shu, Zhengqing Guan, Tun Lu, Hansu Gu, Ning Gu. Building a Personalized Model for Social Media Textual Content Censorship. CSCW 2022.

如果您對我們實驗室的相關(guān)工作感興趣，歡迎訪問我們的網(wǎng)站：

協(xié)同信息與系統(tǒng)（CISL）實驗室

實驗室網(wǎng)站主頁：https://cscw.fudan.edu.cn/

實驗室Github主頁：https://github.com/FudanCISL