【導(dǎo)讀】最近，復(fù)旦大學(xué)的研究人員提出了一種新聞推薦生態(tài)系統(tǒng)演化模擬平臺SimuLine，可以從真實(shí)數(shù)據(jù)中構(gòu)建一個(gè)反映人類行為的潛在空間，然后通過基于代理模型的仿真模擬出新聞推薦生態(tài)系統(tǒng)的演化動(dòng)態(tài)。

理解在線新聞社區(qū)的演變對于設(shè)計(jì)更有效的新聞推薦系統(tǒng)至關(guān)重要，但由于缺乏適當(dāng)?shù)臄?shù)據(jù)集和平臺，現(xiàn)有研究在理解推薦系統(tǒng)如何影響社區(qū)演化方面存在局限，導(dǎo)致了可能影響長期效用的次優(yōu)系統(tǒng)設(shè)計(jì)。

針對這一問題，復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院CISL研究團(tuán)隊(duì)研發(fā)了新聞推薦生態(tài)系統(tǒng)演化模擬平臺SimuLine。

SimuLine基于預(yù)訓(xùn)練語言模型（Pretrained Language Models）和逆傾向得分（Inverse Propensity Score）從真實(shí)數(shù)據(jù)中構(gòu)建了一個(gè)反映人類行為的潛在空間，然后通過基于代理模型的仿真（Agent-based Modeling）模擬出新聞推薦生態(tài)系統(tǒng)的演化動(dòng)態(tài)。

SimuLine支持在單服務(wù)器（256G內(nèi)存，消費(fèi)級顯卡）上對10000+名讀者和1000+名創(chuàng)作者進(jìn)行100+輪次的創(chuàng)作-推薦-交互模擬，同時(shí)提供包括定量指標(biāo)、可視化和文本解釋在內(nèi)的綜合分析框架。

廣泛的仿真實(shí)驗(yàn)表明SimuLine在理解社區(qū)演化過程、測試推薦算法等方面具有巨大潛力。

作者：張光平，李東勝，顧寒蘇，盧暾，尚笠，顧寧

論文地址：https://arxiv.org/abs/2305.14103

 

新聞推薦生態(tài)系統(tǒng)演化模擬平臺

隨著社交媒體（Social Media）的普及，人們越來越依賴在線新聞社區(qū)來發(fā)布和獲取新聞，每天都會(huì)有數(shù)以百萬計(jì)的新聞被內(nèi)容創(chuàng)作者發(fā)布到各種類型的在線新聞社區(qū)，并在推薦系統(tǒng)的分發(fā)下被海量用戶閱讀。

隨著新聞內(nèi)容的生產(chǎn)和消費(fèi)，在線新聞社區(qū)處于一種不間斷的動(dòng)態(tài)演化過程中。

與其他類型的在線社區(qū)相同，在線新聞社區(qū)的發(fā)展也符合著名的生命周期理論，也即依次經(jīng)歷「啟動(dòng)」-「成長」-「成熟」-「衰退」的階段。

透過生命周期理論的視角，大量的研究工作探討了在線社區(qū)的演化模式，并對生命周期中每個(gè)階段的運(yùn)作提出了建議。

然而，作為在線新聞社區(qū)最重要的技術(shù)基礎(chǔ)設(shè)施之一的推薦系統(tǒng)對在線新聞社區(qū)的演化有何影響仍迷霧重重。

為了解開這一謎團(tuán)，來自復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院的CISL研究團(tuán)隊(duì)重點(diǎn)關(guān)注了以下三個(gè)研究問題，并試圖通過模擬實(shí)驗(yàn)來找到它們的答案：

1）新聞推薦生態(tài)系統(tǒng)（News Recommendation Ecosystems, NREs）生命周期的每個(gè)階段有什么特點(diǎn)？

2）驅(qū)動(dòng)NREs演化的關(guān)鍵因素有哪些，這些因素是如何彼此作用進(jìn)而影響進(jìn)化過程的？

3）如何通過推薦系統(tǒng)的設(shè)計(jì)策略，實(shí)現(xiàn)更好的長期多方效用，從而避免社區(qū)陷入「衰落」？

為了回答這三個(gè)研究問題，CISL研究團(tuán)隊(duì)研發(fā)了新聞推薦生態(tài)系統(tǒng)演化模擬平臺SimuLine。

SimuLine首先根據(jù)真實(shí)世界的數(shù)據(jù)集進(jìn)行合成數(shù)據(jù)的生成。為了解決原始數(shù)據(jù)集固有的暴露偏差問題（Exposure Bias）， SimuLine引入了逆傾向得分（Inverse Propensity Score）來消除偏差。

為了建立一個(gè)貼近人類決策過程的潛在空間，SimuLine引入了基于大規(guī)模語料庫的預(yù)訓(xùn)練語言模型（Pretrained Language Models）來進(jìn)行隱空間的構(gòu)建，最后，SimuLine通過基于代理模型的仿真（Agent-based Modeling）模擬了用戶、內(nèi)容創(chuàng)作者和推薦系統(tǒng)在新聞推薦生態(tài)系統(tǒng)中的行為和交互。

 

合成數(shù)據(jù)生成

當(dāng)試圖動(dòng)手構(gòu)建一個(gè)代表用戶的模擬器時(shí)，撲面而來的第一個(gè)問題就是「用戶的各種行為應(yīng)當(dāng)如何刻畫？」

這個(gè)問題其實(shí)有一個(gè)十分直接而且被推薦系統(tǒng)領(lǐng)域廣泛采用的解決思路，那便是構(gòu)建一個(gè)隱空間（Latent Space），然后把用戶的興趣和新聞的內(nèi)容通通映射到這個(gè)空間里去。

如此一來，便可以十分方便地通過隱空間中向量的相似度，來衡量用戶對新聞的喜愛程度，進(jìn)而定義出一系列行為的邏輯和規(guī)則。

 

構(gòu)建

那么該如何構(gòu)建這個(gè)隱空間呢？

有的同學(xué)便說了：「這有何難?。客扑]算法不就是用來干這個(gè)活的嘛！直接用推薦算法學(xué)一個(gè)出來不就好了？」

這的確不失為一種方法，但也有一些明顯的問題。

其中最令CISC研究團(tuán)隊(duì)百思不得其解的是一個(gè)叫做「Algorithm Confounding」的邏輯漏洞，也就是說假如使用推薦算法A來構(gòu)建隱空間并映射用戶和新聞作為它們真實(shí)的行為決策依據(jù)，那么在后面模擬過程中使用的算法B豈不成了在擬合算法A（了解一些蒸餾學(xué)習(xí)的同學(xué)是不是很眼熟）？

此外，目前大多數(shù)的推薦算法仍是黑盒模型，就算睜一只眼閉一只眼放過了Algorithm Confounding，在對模擬數(shù)據(jù)進(jìn)行分析的時(shí)候也會(huì)是一頭霧水（這個(gè)維度在變大，可是這個(gè)維度代表啥啊？？？）。

正當(dāng)研究團(tuán)隊(duì)一籌莫展之際，一道白色的閃光劃過：好像之前看到過一篇文章說，基于大規(guī)模語料庫訓(xùn)練出來的語言模型（當(dāng)時(shí)還是Bert的天下，ChatGPT尚未呱呱墜地）可以表現(xiàn)出一些基本的人類認(rèn)知（也就是著名的King – male + Female = Queen）。

那這個(gè)東西用來構(gòu)建隱空間豈不是非常合適：

1. 它可以編碼用戶和新聞；

2. 通過從大規(guī)模語料庫中學(xué)習(xí)全局的文本表征，它所體現(xiàn)的人類認(rèn)知應(yīng)該是基礎(chǔ)而普遍的，從而規(guī)避了Algorithm Confounding的問題；

3. 雖然不太清楚它的隱空間里每一個(gè)維度代表了什么，但這并不影響這個(gè)空間的可理解性，完全可以通過相似向量檢索來為空間中每一個(gè)點(diǎn)提供文本的大致解釋。

這簡直太美妙了！就決定是你了！

 

映射

解決了隱空間的構(gòu)造問題，下一步就是將用戶和新聞?dòng)成涞竭@個(gè)空間了。

新聞好說，本來新聞就一定會(huì)有豐富的文本信息，直接編碼就可以了，但是用戶該怎么去處理呢？利用用戶歷史記錄里喜歡的新聞求個(gè)均值行不行？

不可以！

可惡的Algorithm Confounding換了個(gè)名字又來了，這次它叫做Exposure Bias，也就是用戶的點(diǎn)贊記錄并不一定能夠完全體現(xiàn)出用戶的興趣，因?yàn)橛脩酎c(diǎn)贊的新聞一定是用戶看到過的新聞，而用戶看到的新聞本身就是經(jīng)過推薦系統(tǒng)的一次篩選的，完全存在一種可能性那就是用戶沒點(diǎn)贊是因?yàn)闆]看到。

還好經(jīng)過這么多年的高歌猛進(jìn)，推薦系統(tǒng)領(lǐng)域的軍火庫彈藥充足，研究團(tuán)隊(duì)從Unbiased Recommendation這個(gè)倉庫中找到了解決這個(gè)問題的趁手兵刃：Inverse Propensity Score (IPS)。

簡單來講，那便是通過估計(jì)推薦樣本的曝光密度對其進(jìn)行加權(quán)，從而抵消掉它在模型學(xué)習(xí)過程中帶來的Bias，如此一來用戶的編碼問題也就解決了。

至于最后的內(nèi)容創(chuàng)作者，他們發(fā)布內(nèi)容的行為沒有受到Exposure Bias的干擾，直接對其歷史記錄進(jìn)行加權(quán)就行了。其實(shí)經(jīng)過上面的一通操作，數(shù)據(jù)準(zhǔn)備工作已經(jīng)基本完成了，但是仍有兩點(diǎn)美中不足：

· 首先是數(shù)據(jù)規(guī)模尚未調(diào)整，可能會(huì)和計(jì)算資源不適配（小驢拉大磨/大驢磨洋工）；

· 其次是用戶的隱私?jīng)]有得到尊重。因此研究團(tuán)隊(duì)在原始數(shù)據(jù)集用戶編碼的基礎(chǔ)上又套接了一層生成模型。

考慮到新聞平臺總是設(shè)計(jì)有分區(qū)導(dǎo)航（財(cái)經(jīng)、體育、科技等等），而用戶在各個(gè)分區(qū)的聚集現(xiàn)象也比較明顯，研究團(tuán)隊(duì)便提拔了高斯混合模型（GMM）來負(fù)責(zé)這個(gè)任務(wù)。

 

代理建模

完成了前期的數(shù)據(jù)準(zhǔn)備工作之后，便可以開始建模用戶的行為了。

研究團(tuán)隊(duì)這里采用了Agent-based Modelling的方式，也就是建模個(gè)體的行為以及個(gè)體之間的交互，然后通過部署大量Agents模擬出群體的動(dòng)態(tài)。

簡單回憶一下用戶的在線新聞閱讀流程（比如大家刷今日頭條的時(shí)候），用戶首先會(huì)在某一個(gè)頁面看到推薦系統(tǒng)推薦的一系列新聞，然后用戶簡單瀏覽一下各個(gè)新聞的標(biāo)題、配圖和摘要，如果某條新聞激起了用戶的興趣，便會(huì)點(diǎn)進(jìn)去看看具體講了些什么，讀完這條新聞之后，如果用戶覺得這條新聞不錯(cuò)、值得大家一讀或是符合自己的觀點(diǎn)，用戶便會(huì)通過點(diǎn)贊等方式表達(dá)自己對這條新聞的認(rèn)同。

 

定義

在這個(gè)過程中，用戶和新聞之間的交互可以被劃分為三個(gè)層級（曝光、點(diǎn)擊和點(diǎn)贊），其中點(diǎn)擊和點(diǎn)贊是用戶的主動(dòng)行為，需要在User Agent中定義一番。

在這里研究團(tuán)隊(duì)將用戶的點(diǎn)擊行為歸納為一種概率選擇行為，也就是依據(jù)用戶和新聞之間的匹配度（可以用兩者隱空間內(nèi)的相似度衡量），用戶有一定概率從列表中選擇一些自己感興趣的新聞點(diǎn)開閱讀。

這個(gè)定義相比于直接點(diǎn)擊最匹配的新聞具有更好的彈性，也就是說并不一定匹配度高就會(huì)被閱讀，更符合真實(shí)情況一些。

至于點(diǎn)贊行為，就不能簡單的只考慮新聞的匹配度了，畢竟眾所周知，標(biāo)題黨的現(xiàn)象在新聞中還是屢見不鮮的。

因此研究團(tuán)隊(duì)引入了一個(gè)抽象的「新聞質(zhì)量」的概念來總體上代表一篇新聞報(bào)道的價(jià)值，如此一來，用戶的點(diǎn)贊行為便可以通過主觀的興趣和客觀的質(zhì)量共同刻畫。

研究團(tuán)隊(duì)采用了期望模型來進(jìn)行Agent點(diǎn)贊行為的控制，具體來講，首先基于興趣匹配程度和新聞質(zhì)量計(jì)算出一個(gè)用戶閱讀某條新聞的效用（Utility），如果這個(gè)效用超過了用戶的期待（研究團(tuán)隊(duì)用一個(gè)超參數(shù)Threshold來代表這個(gè)期待的具體值），那便觸發(fā)點(diǎn)贊行為。

這個(gè)設(shè)計(jì)的直觀解釋就是，如果一條新聞?dòng)凶屛宜?，不管是因?yàn)樗狭宋疫€是它本身的報(bào)道十分客觀全面，我便會(huì)毫不吝嗇的為他點(diǎn)贊。

此外在新聞閱讀過程中，用戶的興趣或者說觀點(diǎn)顯然也不會(huì)是一成不變的。

比如說用戶看到了一篇很喜歡的新聞報(bào)道，就有可能激發(fā)用戶對相關(guān)新聞的深入挖掘欲望，與之相反的，如果一篇報(bào)道令用戶感覺完全是滿紙荒唐言，用戶以后再看到類似的報(bào)道就不太會(huì)再點(diǎn)進(jìn)去看它的報(bào)道細(xì)節(jié)了。

這個(gè)現(xiàn)象被研究團(tuán)隊(duì)建模為了一個(gè)用戶偏好漂移模型（User-drift Model）。

 

創(chuàng)作行為建模

接下來建模新聞創(chuàng)作者的創(chuàng)作行為。

真實(shí)世界中的新聞創(chuàng)作會(huì)受各種因素的影響，研究團(tuán)隊(duì)這里將其簡化為一個(gè)貪心過程，也就是作者總是希望自己創(chuàng)作的新聞能夠得到更多讀者的認(rèn)同。

具體的Agent行為控制研究團(tuán)隊(duì)采用了類似于用戶點(diǎn)擊的方案，創(chuàng)作者根據(jù)自己創(chuàng)作的新聞在上一輪的點(diǎn)贊情況進(jìn)行概率抽樣，選出新一輪創(chuàng)作的主題，然后圍繞主題進(jìn)行新聞創(chuàng)作。新聞創(chuàng)作的過程類似的也被建模為隱空間中從以主題為中心的高斯分布中抽樣的過程。

除了新聞的內(nèi)容（隱空間表征），還需要對新聞的質(zhì)量進(jìn)行建模。這里基于兩條符合現(xiàn)實(shí)規(guī)律的基本假設(shè)：

1. 作者的獲贊數(shù)與收入存在一個(gè)邊際遞減的正相關(guān)關(guān)系，也就是作者收到的贊越多收入閱讀，但是隨著贊數(shù)量的提升，單個(gè)贊帶來的收益會(huì)逐漸減少；

2. 收入高的創(chuàng)作者由于預(yù)算更充足，會(huì)創(chuàng)作出質(zhì)量更高的新聞?；诖丝梢詷?gòu)建一個(gè)從上一輪獲贊數(shù)到下一輪新聞質(zhì)量的映射函數(shù)，用于控制新聞創(chuàng)作的質(zhì)量。

 

推薦系統(tǒng)建模

最后對推薦系統(tǒng)的行為進(jìn)行建模。

算法推薦和冷啟動(dòng)推薦是新聞推薦系統(tǒng)的兩個(gè)基本組件。為了提供個(gè)性化的算法推薦，推薦系統(tǒng)首先利用推薦算法，如BPR等，從歷史交互數(shù)據(jù)中學(xué)習(xí)用戶和新聞在嵌入空間中的表示（研究團(tuán)隊(duì)用隱空間Latent Space指代大規(guī)模語言模型編碼的真實(shí)用戶興趣空間，用嵌入空間Embedding Space指代推薦算法學(xué)習(xí)得到的用于生成推薦列表的空間）。

但是由于用戶點(diǎn)贊行為的不確定性和新聞?dòng)行源翱诘南拗疲惴ㄍ扑]不能保證覆蓋所有用戶，對于這部分缺口，可以通過簡單的隨機(jī)推薦予以補(bǔ)全。

由于缺乏歷史交互記錄，新創(chuàng)作的新聞同樣無法參與到算法推薦中，SimuLine應(yīng)用隨機(jī)推薦和啟發(fā)式推薦算法（如歷史上喜歡的創(chuàng)作者的新報(bào)道）等策略來推薦冷啟動(dòng)新聞。

此外，SimuLine還支持了其他啟發(fā)式新聞推薦策略，如突發(fā)新聞，基于內(nèi)容創(chuàng)作者的推廣，以及基于主題的推廣等。

所有的推薦策略均擁有獨(dú)立的推送額度，推薦系統(tǒng)將來自所有渠道的新聞推薦合并形成最終的推薦列表。

 

模擬實(shí)驗(yàn)

數(shù)據(jù)已就位！模型已搭建！接下來進(jìn)行一番緊張刺激的實(shí)驗(yàn)！

研究團(tuán)隊(duì)選用了新聞推薦領(lǐng)域廣泛使用的Adressa數(shù)據(jù)集，這個(gè)數(shù)據(jù)集提供了挪威新聞網(wǎng)站www.adressa.no在2017年二月某一周的完整網(wǎng)絡(luò)日志，與其他優(yōu)秀的新聞推薦數(shù)據(jù)集（例如微軟的MIND）相比，它原生提供了十分關(guān)鍵的新聞作者信息。相對應(yīng)的，語言模型選用了原生支持挪威語的BPEmb。更多的部署細(xì)節(jié)諸位可以參考論文中的第四章第一小節(jié)。

那么該如何去分析SimuLine的模擬結(jié)果呢？SimuLine提供了一套多個(gè)視角的全面分析框架供君參考。

首先是最常用的量化指標(biāo)評估體系。

為了全面反映新聞推薦生態(tài)系統(tǒng)的演化過程，研究團(tuán)隊(duì)總結(jié)了已有文獻(xiàn)中出現(xiàn)過的量化指標(biāo)，從以下五個(gè)方面構(gòu)建了一套較為完整的評估體系：

1）互動(dòng)性，包括點(diǎn)贊獲贊的數(shù)量及其基尼指數(shù)，較低的基尼指數(shù)代表更好的公平性；

2）覆蓋率，包括算法推薦所覆蓋的用戶和新聞的數(shù)量；

3) 質(zhì)量，包括時(shí)效期新聞的平均質(zhì)量、獲贊量加權(quán)的時(shí)效期新聞平均質(zhì)量以及新聞質(zhì)量與獲贊量之間的皮爾遜相關(guān)系數(shù)；

4）同質(zhì)化，包括用戶間的Jaccard指數(shù)，數(shù)值越高代表用戶之間的新聞閱讀重合程度越高；

5）匹配度，包括用戶和他們喜歡的新聞之間的隱空間表征余弦相似度。

 

1.生命周期

下面三張圖分別展示了在不同Agent超參數(shù)條件下，用戶、創(chuàng)作者、推薦系統(tǒng)的量化評估結(jié)果。

可以看到，模擬的過程和結(jié)果在各種超參數(shù)下都是比較穩(wěn)定的，并且大約以第十輪和第二十輪為分界線（不同指標(biāo)存在一定的前后浮動(dòng)），系統(tǒng)的演化呈現(xiàn)出了明顯的階段性（在圖中用藍(lán)色的豎線畫出了發(fā)生階段轉(zhuǎn)換的輪次），這與著名的生命周期理論相一致。

由此得到第一個(gè)發(fā)現(xiàn)：推薦系統(tǒng)驅(qū)動(dòng)的在線新聞社區(qū)在不同的用戶群體下均自然呈現(xiàn)出「啟動(dòng)」-「成長」-「成熟&衰退」的生命周期。

 

2.用戶分化

除了量化指標(biāo)，可視化也是輔助理解社區(qū)演化過程的重要工具。

研究團(tuán)隊(duì)通過PCA降維可視化得到了下面這一組系統(tǒng)演化過程的快照（新聞?dòng)盟{(lán)色標(biāo)示，有點(diǎn)贊記錄的用戶用綠色標(biāo)示，沒有點(diǎn)贊記錄的用戶用紅色標(biāo)示。節(jié)點(diǎn)大小代表點(diǎn)贊/獲贊的數(shù)量）。

可以看到，雖然量化指標(biāo)表現(xiàn)出了多階段的模式，但隱空間表征的演化趨勢卻是始終如一的，即用戶逐漸分化為圈內(nèi)用戶（in-the-loop users）和圈外用戶（out-the-loop users）。

圈內(nèi)用戶形成了一個(gè)興趣趨同的穩(wěn)定社區(qū)，而圈外用戶則呈現(xiàn)出零散的興趣。

在第10輪和第20輪之間的演化過程中，用戶基本完成了分化，這表明成長階段對用戶參與有至關(guān)重要的決定作用。

由此得到第二個(gè)發(fā)現(xiàn)：推薦系統(tǒng)驅(qū)動(dòng)的在線新聞社區(qū)將不可避免地產(chǎn)生社區(qū)話題的趨同，并導(dǎo)致用戶的分化，其中決定用戶參與的關(guān)鍵時(shí)期是成長階段。

 

3.興趣同化

如前文所說，由于SimuLine通過大規(guī)模預(yù)訓(xùn)練語言模型來構(gòu)建隱空間，空間中的每個(gè)向量都可以通過相似詞檢索來進(jìn)行文本解釋，這有助于通過案例研究了解單個(gè)用戶的演變。

研究團(tuán)隊(duì)分別從圈內(nèi)用戶和圈外用戶中隨機(jī)抽取了3名用戶，下面的表格展示了他們的興趣演化過程。

對于圈內(nèi)用戶來說，他們的興趣愈發(fā)抽象、廣泛和概括，例如從「演員」到「工作」，從「奧斯陸」到「挪威」到「歐洲」。不同用戶的演化速度各不相同，但都在第50輪時(shí)趨于一致。這一現(xiàn)象反映了作為不斷與推薦系統(tǒng)互動(dòng)的結(jié)果，用戶的偏好從個(gè)性化的小眾話題逐漸遷移到平臺上廣泛討論的趨勢性話題。

而對于圈外用戶來說，他們的興趣略有變化，但總是集中在特定的和個(gè)性化的話題上。例如4號和6號用戶在整個(gè)模擬過程中分別對「運(yùn)動(dòng)員」、「茶」和「賬單」保持興趣。

由此得到第三個(gè)發(fā)現(xiàn)：在推薦系統(tǒng)驅(qū)動(dòng)的在線新聞社區(qū)中，用戶的個(gè)性化興趣在與推薦系統(tǒng)的持續(xù)互動(dòng)過程中被同化了。

 

4.啟動(dòng)階段

借助上述量化指標(biāo)、可視化、文本翻譯三大利器，SimuLine可以對系統(tǒng)的演化過程進(jìn)行一次全面體檢。

既然推薦系統(tǒng)驅(qū)動(dòng)的在線新聞社區(qū)的演化過程符合生命周期理論，那就從生命周期的視角分析一下，在各個(gè)生命階段，社區(qū)到底是怎么演化的。

首先分析一下大致對應(yīng)前10輪的啟動(dòng)階段。

由于系統(tǒng)是白手起家從零做起，所以在最開始的階段推薦系統(tǒng)是缺乏數(shù)據(jù)訓(xùn)練推薦算法的。相對應(yīng)的，在這一階段利用隨機(jī)推薦和啟發(fā)式推薦解決用戶的冷啟動(dòng)問題便是首要任務(wù)。

由于無法使用更為準(zhǔn)確的算法推薦，該階段的推薦結(jié)果往往在興趣匹配上不盡人意，因此該階段的點(diǎn)贊行為主要由新聞質(zhì)量驅(qū)動(dòng)，反映在量化指標(biāo)上那便是質(zhì)量和熱度的較強(qiáng)的正相關(guān)關(guān)系。

更進(jìn)一步，便可以定位出啟動(dòng)階段社區(qū)演化的兩個(gè)主要驅(qū)動(dòng)力量：

1）質(zhì)量反饋回路（Quality feedback loops），即質(zhì)量與熱度在正相關(guān)關(guān)系基礎(chǔ)上的相互促進(jìn)，也就是東西越好點(diǎn)贊的人越多，點(diǎn)贊的人越多作者收益越高，作者收益越高越有動(dòng)力產(chǎn)出質(zhì)量更好的新聞報(bào)道；

2）興趣-質(zhì)量混淆，也就是在積累到足夠準(zhǔn)確估計(jì)用戶興趣的數(shù)據(jù)量之前，推薦算法會(huì)將質(zhì)量驅(qū)動(dòng)的點(diǎn)贊行為混淆為因?yàn)橛脩舾信d趣而觸發(fā)的行為。這兩個(gè)驅(qū)動(dòng)力量相互促進(jìn)，使得受歡迎的內(nèi)容創(chuàng)作者獲得逐漸增強(qiáng)的超量曝光（體現(xiàn)為創(chuàng)作者和新聞基尼指數(shù)的上升），并近一步擠壓用戶個(gè)性化興趣的滿足（體現(xiàn)為用戶與其點(diǎn)贊新聞之間隱空間相似度的下降）。但是大多數(shù)用戶仍可以從增強(qiáng)的新聞質(zhì)量中受益（體現(xiàn)為不斷降低的用戶點(diǎn)贊行為的基尼指數(shù)）。

總結(jié)一下，可以得到第四個(gè)發(fā)現(xiàn)：在啟動(dòng)階段，系統(tǒng)從隨機(jī)推薦和高質(zhì)量新聞中積累用于估計(jì)用戶興趣的數(shù)據(jù)，進(jìn)而解決冷啟動(dòng)用戶問題。質(zhì)量反饋循環(huán)和興趣-質(zhì)量混淆通過過度曝光促成了極受歡迎的內(nèi)容創(chuàng)作者的出現(xiàn)。

 

5.成長階段

隨著數(shù)據(jù)的積累，推薦算法對用戶興趣的估計(jì)越來越準(zhǔn)確，點(diǎn)贊行為從質(zhì)量驅(qū)動(dòng)逐漸轉(zhuǎn)向興趣驅(qū)動(dòng)，質(zhì)量和熱門程度之間的相關(guān)性逐漸減弱。隨著模擬輪次的增長，啟動(dòng)期創(chuàng)作的新聞逐漸過期并退出推薦候選，興趣-質(zhì)量混淆率先開始消散，并逐漸導(dǎo)致質(zhì)量反饋循環(huán)的最終結(jié)束。

在成長階段，每個(gè)圈內(nèi)用戶臨域內(nèi)的新聞密度是不均勻的，朝向主流新聞主題的方向密度較高，而其他方向的密度相對較低。

其結(jié)果便是用戶喜歡的新聞在統(tǒng)計(jì)上更多的會(huì)向主流新聞主題靠攏，這一點(diǎn)贊行為上的細(xì)微偏差不斷出現(xiàn)，用戶興趣在持續(xù)的強(qiáng)化作用下也逐漸向主流新聞主題逼近。

與之相反的是，圈外用戶陷入了「不點(diǎn)贊-算法推薦無法覆蓋-推薦準(zhǔn)確度低-更不會(huì)點(diǎn)贊」的僵局。他們偶爾也會(huì)因?yàn)樾侣勝|(zhì)量而點(diǎn)贊，但推薦算法無法在數(shù)據(jù)時(shí)效內(nèi)積累到足夠的數(shù)據(jù)估計(jì)他們的興趣。更頻繁和均衡的點(diǎn)贊行為刺激了新聞質(zhì)量的增長，但由于高質(zhì)量新聞的受歡迎程度下降，按獲贊數(shù)量加權(quán)的新聞質(zhì)量總體上保持了穩(wěn)定。

隨著質(zhì)量反饋循環(huán)的終止，內(nèi)容創(chuàng)作者無法再獲得超量關(guān)注，從而導(dǎo)致新聞質(zhì)量的下降。對質(zhì)量敏感的用戶可能會(huì)因此而不再點(diǎn)贊，進(jìn)而導(dǎo)致用戶覆蓋率的下滑。

總結(jié)起來，可以得到第五個(gè)發(fā)現(xiàn)：在成長階段，圈內(nèi)用戶在分布偏差的作用下向共同話題演化，而圈外用戶則陷入僵局，導(dǎo)致了用戶分化。越來越準(zhǔn)確的算法推薦導(dǎo)致質(zhì)量反饋循環(huán)的結(jié)束，社區(qū)因此而喪失了部分質(zhì)量敏感的用戶。

 

6.成熟和衰退階段

在第20輪左右，社區(qū)進(jìn)入了成熟和衰退階段，此時(shí)大多數(shù)關(guān)鍵指標(biāo)趨于穩(wěn)定。

在此階段，圈內(nèi)用戶動(dòng)態(tài)地保持在共同話題的氣泡中，雖然他們的興趣可能會(huì)因?yàn)辄c(diǎn)擊一些不同的新聞而轉(zhuǎn)移到氣泡的邊緣，但他們很快就會(huì)因?yàn)槊芏炔疃氐街行摹?/p>

新聞獲贊的基尼指數(shù)較高，而內(nèi)容創(chuàng)作者的獲贊基尼指數(shù)較低，說明即使是同一創(chuàng)作者創(chuàng)作的新聞，其受歡迎程度也存在很大差異。

除了貪婪的創(chuàng)作機(jī)制，新聞創(chuàng)作的過程本身具有高度隨機(jī)性，因此氣泡也呈現(xiàn)出自然的擴(kuò)張趨勢。

擴(kuò)張的氣泡帶來了更多樣化的新聞候選，也導(dǎo)致了部分對話題敏感的用戶逐漸退出。

由此可以得到第六個(gè)發(fā)現(xiàn)：在成熟和衰退階段，圈內(nèi)用戶共享共同的話題，內(nèi)容創(chuàng)作者圍繞這些話題發(fā)布各種新聞。社區(qū)保持了穩(wěn)定且緩慢的擴(kuò)張，但同時(shí)也流失了部分對興趣敏感的用戶。

 

7.演化是如何發(fā)生的？

發(fā)現(xiàn)一到發(fā)現(xiàn)六回答了研究團(tuán)隊(duì)關(guān)注的第一個(gè)研究問題：新聞推薦生態(tài)系統(tǒng)（News Recommendation Ecosystems, NREs）生命周期的每個(gè)階段有什么特點(diǎn)？

接下來把所有的知識攏起來，嘗試回答一下第二個(gè)研究問題：驅(qū)動(dòng)NREs演化的關(guān)鍵因素有哪些，這些因素是如何彼此作用進(jìn)而影響進(jìn)化過程的？

下面這張圖總結(jié)了在線新聞社區(qū)演化的關(guān)鍵因素和影響機(jī)制，從中可以發(fā)現(xiàn)，重新出現(xiàn)的曝光偏差和死鎖是導(dǎo)致圈內(nèi)用戶和圈外用戶不同演化趨勢的直接原因，并進(jìn)一步導(dǎo)致了用戶的分化和話題的趨同。

重新出現(xiàn)的曝光偏差是由多種因素共同造成的。

首先，從信息論的角度來看，推薦算法可以解釋為一個(gè)信息壓縮的過程，不可避免地導(dǎo)致流行度偏差，其中在數(shù)據(jù)集中高頻出現(xiàn)的新聞（也就是點(diǎn)贊多的新聞）被更有效地編碼以提高推薦性能。反映到社區(qū)的演化過程上，便體現(xiàn)為廣泛討論的共同話題會(huì)在算法推薦渠道上搶占個(gè)性化話題的曝光資源。

其次，由于內(nèi)容創(chuàng)作者的逐利性，他們更有動(dòng)力圍繞公眾感興趣的話題創(chuàng)作新聞，這自然而然的會(huì)導(dǎo)致新聞發(fā)布密度從大眾話題向個(gè)性化話題的降低。從這個(gè)意義上來看，即使全程采用隨機(jī)推薦，社區(qū)也可能由于分布的偏差而朝著主題收斂的方向發(fā)展。

最后，過濾氣泡和曝光偏差相互促進(jìn)，共同導(dǎo)致了用戶潛移默化的興趣轉(zhuǎn)移。算法推薦根據(jù)用戶歷史上點(diǎn)贊過的新聞推薦類似的報(bào)道，受限的新聞曝光使得曝光偏差更加難以被用戶感知。

此外，推薦系統(tǒng)對流行新聞的偏向在不同的演化階段表現(xiàn)出了不同的影響。

在啟動(dòng)階段，存在興趣-質(zhì)量混淆，新聞質(zhì)量與流行度之間存在較強(qiáng)的相關(guān)性，流行偏向具體表現(xiàn)為高質(zhì)量新聞曝光度的增強(qiáng)。

隨著數(shù)據(jù)的積累和算法推薦性能的提升，與質(zhì)量驅(qū)動(dòng)相比，點(diǎn)贊行為越來越受興趣驅(qū)動(dòng)，進(jìn)而削弱了興趣-質(zhì)量混淆和質(zhì)量-流行度相關(guān)性。流行偏向也從推薦優(yōu)質(zhì)新聞逐漸演變?yōu)閱渭兊耐扑]高熱度新聞。

在這個(gè)新舊動(dòng)能轉(zhuǎn)換的過程中，培育出一些高人氣同時(shí)高質(zhì)量的新聞話題，對促進(jìn)用戶參與具有重要作用。

總結(jié)下來，便可以得到第七個(gè)發(fā)現(xiàn)：流行偏向、新聞分布偏差和過濾氣泡共同導(dǎo)致了曝光偏差這一影響用戶差異化和話題收斂的關(guān)鍵因素。高人氣的優(yōu)質(zhì)新聞對于打破圈外用戶的僵局至關(guān)重要。

 

8.如何避免社區(qū)衰落？

最后，借助SimuLine強(qiáng)大的模擬能力和分析能力，再探索一番第三個(gè)研究問題：如何通過推薦系統(tǒng)的設(shè)計(jì)策略，實(shí)現(xiàn)更好的長期多方效用，從而避免社區(qū)陷入「衰落」？

研究團(tuán)隊(duì)測試了四種最基礎(chǔ)最常見的啟發(fā)式推薦方法：基于訂閱制的新聞冷啟動(dòng)、熱搜榜、話題推廣和創(chuàng)作者推廣。下面三張圖呈現(xiàn)了在基礎(chǔ)推薦系統(tǒng)之上應(yīng)用上述四種方法的社區(qū)演化結(jié)果。

（1）基于訂閱制的新聞冷啟動(dòng)試圖在用戶和內(nèi)容創(chuàng)作者之間形成穩(wěn)定的跨輪曝光關(guān)系，從而增強(qiáng)啟動(dòng)階段出現(xiàn)的質(zhì)量反饋循環(huán)。但是這種做法導(dǎo)致了嚴(yán)重的壟斷，沒有取得先發(fā)優(yōu)勢的內(nèi)容創(chuàng)作者反而會(huì)被質(zhì)量反饋回路壓制，破壞了算法覆蓋率和新聞的平均質(zhì)量，進(jìn)而使整個(gè)社區(qū)生態(tài)的多樣性受到嚴(yán)重挑戰(zhàn)。

（2）熱搜榜是最常見的在線社區(qū)組件，依靠新聞質(zhì)量和流行度之間的正相關(guān)關(guān)系，這種方式可以為用戶提供更高質(zhì)量的新聞推薦。同時(shí)從利用和探索（Exploit&Explore）的角度來看，閱讀突發(fā)新聞也可以看作是一種突破用戶現(xiàn)有興趣局限的用戶探索，有助于減輕過濾氣泡的負(fù)面影響。

然而，這種方法無法阻止前文中討論的流行度和質(zhì)量之間相關(guān)性的崩潰，這會(huì)導(dǎo)致推薦突發(fā)新聞的有效性下降。

（3）最后是平臺推廣，通過給特定話題或者特定作者提供額外的曝光額度，平臺也可以主動(dòng)地調(diào)控推薦的內(nèi)容。針對內(nèi)容創(chuàng)作者的推廣可以建立起穩(wěn)定的曝光關(guān)系，進(jìn)而利用質(zhì)量反饋回路培養(yǎng)高人氣的優(yōu)質(zhì)新聞。

但與基于訂閱制的新聞冷啟動(dòng)策略不同的是，可以在當(dāng)前質(zhì)量反饋循環(huán)培育出有害的壟斷之前主動(dòng)終止推廣，從而保障了用戶的體驗(yàn)和創(chuàng)作者的創(chuàng)造力。作為一個(gè)獨(dú)立于興趣匹配的新聞傳播渠道，它同樣可以減輕過濾泡沫的負(fù)面影響。此外，通過重建質(zhì)量反饋回路，它還將推薦系統(tǒng)對流行新聞的偏向?qū)驅(qū)Ω哔|(zhì)量新聞的有益推薦。

SimuLine在針對特定話題推廣的實(shí)驗(yàn)中隨機(jī)選擇話題，也就是說熱門話題與個(gè)性化話題有同等的機(jī)會(huì)被推廣，因此對于曝光度相對較低的個(gè)性化話題，推廣的影響相對較大。

這個(gè)方法理論上可以用于提升圈外用戶的參與度，但由于推廣新聞的質(zhì)量無法得到保證，曝光量難以轉(zhuǎn)化為獲贊數(shù)，導(dǎo)致了該方法效果有限。

總結(jié)起來，便可以得到第八個(gè)發(fā)現(xiàn)：在常見的推薦系統(tǒng)設(shè)計(jì)策略中，針對內(nèi)容創(chuàng)作者的周期性推廣是最有效的。通過積極構(gòu)建質(zhì)量反饋回路，它可以在整個(gè)社區(qū)中營造一波接一波的高人氣高質(zhì)量的新聞話題，同時(shí)平臺可以通過定期的重置來控制壟斷。

 

小結(jié)

在這篇文章中，CISL研究團(tuán)隊(duì)設(shè)計(jì)并開發(fā)了用于剖析新聞推薦生態(tài)系統(tǒng)演化過程的仿真平臺SimuLine，并基于SimuLine對在線新聞社區(qū)的演化過程進(jìn)行了詳細(xì)分析。

SimuLine 構(gòu)建了一個(gè)很好地反映人類行為的可理解的隱空間，并在此基礎(chǔ)上通過基于代理的建模對新聞推薦生態(tài)系統(tǒng)進(jìn)行了細(xì)致的模擬。

研究團(tuán)隊(duì)剖析了在線新聞社區(qū)演化的整個(gè)生命周期，包括啟動(dòng)、成長、成熟和衰退階段，并分析了每個(gè)階段的特征，同時(shí)提出了一個(gè)關(guān)系圖來說明演化過程中的關(guān)鍵因素和影響機(jī)制。

最后，研究團(tuán)隊(duì)探討了推薦系統(tǒng)設(shè)計(jì)策略對社區(qū)演化的影響，包括對訂閱制新聞冷啟動(dòng)、熱點(diǎn)新聞和平臺推廣的利用。

未來，CISL研究團(tuán)隊(duì)會(huì)考慮新聞的文本內(nèi)容生成和社交網(wǎng)絡(luò)活動(dòng)的行為建模，以進(jìn)行更強(qiáng)大更真實(shí)的模擬。

研究團(tuán)隊(duì)認(rèn)為SimuLine也可以作為推薦系統(tǒng)評估的一大利器，提供在線用戶實(shí)驗(yàn)和基于數(shù)據(jù)集的離線實(shí)驗(yàn)之外的第三種選擇（這也是給它起名為SimuLine的主要原因）。

研究團(tuán)隊(duì)也注意到最近推薦系統(tǒng)研究社區(qū)也提出了一系列的糾偏推薦算法，旨在處理推薦中的曝光偏差問題，這也是用戶分化和主題收斂的直接原因。

由于本文側(cè)重于討論推薦系統(tǒng)的系統(tǒng)設(shè)計(jì)而不是具體的推薦算法，研究團(tuán)隊(duì)將這個(gè)問題留作一個(gè)開放的主題，并希望 SimuLine 能夠促進(jìn)未來在這個(gè)方向的研究。

參考資料：https://arxiv.org/abs/2305.14103

轉(zhuǎn)載自：微信公眾號“新智元”