YOCSEF廣州舉辦“AGI初現(xiàn)曙光：安全進(jìn)化的路徑與抉擇”技術(shù)論壇

灣區(qū)時訊 2024年8月15日，媒體爆出馬斯克旗下x-AI公司的大語言模型Grok存在嚴(yán)重的數(shù)據(jù)泄露和模型濫用問題，迅速引發(fā)了全球?qū)I安全的高度警覺。這一事件再次敲響警鐘，AGI的自適應(yīng)性和多功能性，雖然為技術(shù)進(jìn)步帶來了巨大潛力，但也帶來了數(shù)據(jù)隱私泄露、惡意攻擊等嚴(yán)峻挑戰(zhàn)。為此，中國計算機學(xué)會（CCF）青年計算機科技論壇（YOCSEF）廣州分論壇于2024年12月7日舉辦了“AGI初現(xiàn)曙光：安全進(jìn)化的路徑與抉擇”技術(shù)論壇。論壇聚焦AGI安全的挑戰(zhàn)與應(yīng)對策略，探索技術(shù)發(fā)展與安全防護如何協(xié)同進(jìn)化，實現(xiàn)創(chuàng)新與安全的平衡。

本次論壇由CCF主辦，YOCSEF廣州學(xué)術(shù)委員會、廣東外語外貿(mào)大學(xué)信息科學(xué)與技術(shù)學(xué)院(網(wǎng)絡(luò)空間安全學(xué)院)、廣州大學(xué)網(wǎng)絡(luò)空間安全學(xué)院以及《網(wǎng)絡(luò)空間安全科學(xué)學(xué)報》聯(lián)合承辦，由CCF YOCSEF廣州學(xué)術(shù)秘書姜思羽（廣東外語外貿(mào)大學(xué)）和YOCSEF廣州副主席蘇申（廣州大學(xué)）共同擔(dān)任執(zhí)行主席，并得到了杭州安恒信息技術(shù)股份有限公司的支持。論壇邀請了廣州大學(xué)教授齊佳音、中山大學(xué)教授盧偉、華南理工大學(xué)教授楊曉偉、哈爾濱工業(yè)大學(xué)（深圳）教授花忠云作為引導(dǎo)發(fā)言嘉賓，中山大學(xué)副教授毛明志、西安電子科技大學(xué)（廣州）副教授趙搏文、奇安信科技集團股份有限公司專家李吉祥、杭州安恒信息技術(shù)股份有限公司副總裁符春輝作為思辨嘉賓。廣東外語外貿(mào)大學(xué)院長王常吉，廣東外語外貿(mào)大學(xué)副院長李霞，廣東外語外貿(mào)大學(xué)副院長王連喜，YOCSEF廣州往屆主席譚臺哲（廣東工業(yè)大學(xué))、黃棟（華南農(nóng)業(yè)大學(xué)），優(yōu)秀AC劉雷（廣東科技報社），現(xiàn)任主席李冠彬（中山大學(xué)），現(xiàn)任副主席黃培濤（廣州唐邦信息科技有限公司），現(xiàn)任AC朱鑒（廣東工業(yè)大學(xué)）、胡建芳（中山大學(xué)）、李雯霖（廣東財經(jīng)大學(xué)）、吳國凱（荔峰科技），YOCSEF哈爾濱現(xiàn)任主席李洋，YOCSEF福州現(xiàn)任副主席尤瑋婧（福建師范大學(xué)），珠澳青年工作組陳建國（中山大學(xué)）、應(yīng)作斌（澳門城市大學(xué)）、張凱歌（深信服科技股份有限公司)，CCF粵港澳大灣區(qū)辦事處（籌）藍(lán)維維，以及郭建軍（仲愷農(nóng)業(yè)工程學(xué)院）、李宇翔（頭歌平臺）、吳賀豐（中山大學(xué)）、張菁菁（廣東外語外貿(mào)大學(xué)）、彭麗超（廣州唐邦信息科技有限公司）、王甜甜（廣東朝元信息科技有限公司）等來自多所高校及多家企業(yè)事業(yè)單位的代表共50多人參加本次論壇。

論壇首先由論壇執(zhí)行主席姜思羽介紹論壇背景等相關(guān)情況。廣東外語外貿(mào)大學(xué)信息科學(xué)與技術(shù)學(xué)院(網(wǎng)絡(luò)空間安全學(xué)院)王常吉院長代表承辦單位致辭。王常吉院長首先對線下與線上的參會嘉賓表示由衷歡迎，對廣東外語外貿(mào)大學(xué)信息科學(xué)與技術(shù)學(xué)院（網(wǎng)絡(luò)空間安全學(xué)院）的基本情況以及學(xué)科建設(shè)等領(lǐng)域的特色研究工作進(jìn)行了介紹，期待論壇圍繞“AGI初現(xiàn)曙光：安全進(jìn)化的路徑與抉擇”進(jìn)行深入思辨，并預(yù)祝論壇取得圓滿成功。

論壇執(zhí)行主席姜思羽介紹論壇背景等情況

由《網(wǎng)絡(luò)空間安全科學(xué)學(xué)報》編委會副主任、中國科學(xué)技術(shù)大學(xué)網(wǎng)絡(luò)空間安全學(xué)院執(zhí)行院長、教育部高等學(xué)校網(wǎng)絡(luò)空間安全專業(yè)教指委副主任俞能海教授代表《網(wǎng)絡(luò)空間安全科學(xué)學(xué)報》致辭，對出席活動的嘉賓表示感謝和歡迎。指出論壇圍繞 AGI 技術(shù)安全挑戰(zhàn)與應(yīng)對策略展開，推動學(xué)術(shù)界與產(chǎn)業(yè)界合作，為 AGI 安全發(fā)展提供支撐參考，介紹了《網(wǎng)絡(luò)空間安全科學(xué)學(xué)報》，期待更多專家支持。最后預(yù)祝論壇成功，期待各方推動 AGI 安全健康發(fā)展。

王常吉院長致辭

俞能海教授致辭

由CCF YOCSEF現(xiàn)任主席李冠彬?qū)OCSEF文化進(jìn)行介紹，最后預(yù)祝本次論壇圓滿成功。李冠彬介紹本次論壇所設(shè)立的環(huán)境背景，討論的主要內(nèi)容的同時也說明了YOCSEF的含義、理念、分論壇、YOCSEF廣州的特色文化、思辨論壇的平等性，自由性及發(fā)言規(guī)則，最后對支持單位表達(dá)了感謝。

CCF YOCSEF現(xiàn)任主席李冠彬介紹YOCSEF文化

廣州大學(xué)齊佳音教授以“大模型保險箍：大模型防護欄的一種模式”為題作引導(dǎo)報告，概述大模型安全合規(guī)的風(fēng)險與挑戰(zhàn)，詳細(xì)介紹了大模型保險箍的設(shè)想與實踐，并表達(dá)了對大模型多語言安全問題的思考。中山大學(xué)盧偉教授以“人工智能生成媒體的被動取證和主動防御 ”為題作引導(dǎo)報告，分享了在單模態(tài)和多模態(tài)智能媒體檢測及主動防御成果，介紹了制定智能媒體檢測的技術(shù)規(guī)范與行業(yè)應(yīng)用情況。華南理工大學(xué)楊曉偉教授以“可解釋跨域遷移學(xué)習(xí)算法初探--從統(tǒng)計學(xué)習(xí)理論的基本假設(shè)說起 ”為題作引導(dǎo)報告，概述了領(lǐng)域自適應(yīng)問題的來源與關(guān)鍵，詳細(xì)介紹了領(lǐng)域自適應(yīng)的誤差界估計、建模和算法設(shè)計的最新進(jìn)展。哈爾濱工業(yè)大學(xué)（深圳）花忠云教授以“IBD-PSC: 基于參數(shù)縮放一致性的輸入級后門檢測”作引導(dǎo)報告，分享了一項針對深度神經(jīng)網(wǎng)絡(luò)中后門攻擊的防御工作，具有實際應(yīng)用價值，并指出了未來在其他任務(wù)和模態(tài)上可以進(jìn)一步探索。

齊佳音教授作引導(dǎo)報告

盧偉教授作引導(dǎo)報告

楊曉偉教授作引導(dǎo)報告

花忠云教授作引導(dǎo)報告

在四位引導(dǎo)發(fā)言嘉賓作報告后，由論壇執(zhí)行主席姜思羽、蘇申主持論壇思辨環(huán)節(jié)。思辨嘉賓中山大學(xué)副教授毛明志、西安電子科技大學(xué)（廣州）副教授趙搏文、奇安信科技集團股份有限公司專家李吉祥、杭州安恒信息技術(shù)股份有限公司副總裁符春輝以及與會嘉賓圍繞“尚未撥開迷霧的AGI，是否已經(jīng)到了考慮其安全的時候？”、“AGI帶來哪些新的安全挑戰(zhàn)，怎么解決？”、““通用”人工智能了，“通用”安全是否也有可能？”三個議題展開了深入思辨，總結(jié)得出以下觀點。

頒發(fā)引導(dǎo)嘉賓感謝牌

思辨議題一：尚未撥開迷霧的AGI，是否已經(jīng)到了考慮其安全的時候？

關(guān)于考慮AGI 安全是否尚早問題，存在不同觀點。毛明志教授認(rèn)為盡管 AGI 技術(shù)尚未成熟，但為保障其健康發(fā)展和安全應(yīng)用，提前研究并制定相應(yīng)的安全治理框架、安全防護體系及管理措施很關(guān)鍵，并以醫(yī)療領(lǐng)域為例指出 AGI 存在如隱私數(shù)據(jù)泄露、算法黑箱等諸多潛在風(fēng)險，一旦失控后果嚴(yán)重。且在 AGI 初期嵌入安全防護措施，不僅能避免后期修復(fù)漏洞的風(fēng)險，還可降低修復(fù)成本。AGI技術(shù)安全性一定會影響研發(fā)，但這種影響是正向的、是積極的。有嘉賓指出 AGI 在不同發(fā)展階段都要考慮安全，只是各階段考慮的重點和方向不同。有嘉賓擔(dān)心 AGI 最大的安全威脅是可能脫離人類控制，所以對于像失控等根本性影響的情況應(yīng)盡早考慮，如在制造 AGI 時要應(yīng)對極端情況。同時，提到關(guān)注機器生成內(nèi)容的規(guī)范標(biāo)準(zhǔn)。還有嘉賓強調(diào)人工智能初衷是協(xié)助人類解決復(fù)雜任務(wù)、讓人類生活更美好，所以不管是AGI還是大模型，在發(fā)展過程中都要保證數(shù)據(jù)、系統(tǒng)、算法等方面的可靠性、可信性，所以更要考慮其安全問題。除此之外，也有與會嘉賓認(rèn)為，現(xiàn)在就行動制定法規(guī)等去遏制還未出現(xiàn)的事物可能有負(fù)面作用。應(yīng)先讓產(chǎn)業(yè)充分發(fā)展，安全問題可等到產(chǎn)業(yè)發(fā)展到一定規(guī)模時再設(shè)計相應(yīng)安全解決方案，過早考慮安全會限制資本投入和工業(yè)應(yīng)用價值兌現(xiàn)。

思辨議題二：AGI帶來哪些新的安全挑戰(zhàn)，怎么解決？

針對此議題，有嘉賓認(rèn)為AGI 雖尚未完全到來，但假定其到來后，會使網(wǎng)絡(luò)安全、數(shù)據(jù)安全等方面面臨新挑戰(zhàn)，比如可能讓攻擊行為更易實施、攻擊人群增多，還會使數(shù)據(jù)安全等問題變得更為復(fù)雜。AGI 多任務(wù)執(zhí)行會因資源共享、任務(wù)相互依賴而增加系統(tǒng)漏洞，導(dǎo)致安全問題增多，像大模型存在提示詞攻擊等漏洞情況。并提出了可通過提升可解釋性、進(jìn)行價值規(guī)劃或價值對齊等方式來應(yīng)對惡意利用情況。工業(yè)界代表介紹了在大模型領(lǐng)域相關(guān)實踐，一是對大模型輸入輸出進(jìn)行安全防護，確保其輸入無異常數(shù)據(jù)、輸出合理合規(guī)；二是利用大模型等人工智能技術(shù)為傳統(tǒng)安全行業(yè)賦能，提升效率，如對大量報警信息先降噪再做風(fēng)險排查。還有嘉賓提出了從大語言模型的價值觀、偏見角度考慮AGI 安全問題，并以青少年使用大模型可能受不良價值觀影響為例，強調(diào)提前關(guān)注 AGI 安全的重要性，還提出AGI更需要專用的、全方位的安全策略和方法。

思辨議題三：“通用”人工智能了，“通用”安全是否也有可能？

有嘉賓認(rèn)為，具有可能性，提出可設(shè)計類似通用安全主線的協(xié)議，將網(wǎng)絡(luò)各層面（網(wǎng)絡(luò)層、應(yīng)用層、數(shù)據(jù)層等）的安全需求兼容進(jìn)去。鑒于 AGI 的多功能性、跨領(lǐng)域性使其成為高度復(fù)雜系統(tǒng)，難以建立全球統(tǒng)一的防護標(biāo)準(zhǔn)，但在國內(nèi)可設(shè)立底線要求，各行業(yè)（金融、物流等）再根據(jù)自身安全訴求制定相應(yīng)標(biāo)準(zhǔn)，將通用的底線要求與各行業(yè)標(biāo)準(zhǔn)相結(jié)合。同時，在大范圍建立統(tǒng)一防護標(biāo)準(zhǔn)較難，因 AGI 應(yīng)用擴展會使受攻擊點增多、系統(tǒng)依賴關(guān)系復(fù)雜，一旦某點出問題容易導(dǎo)致整個生態(tài)或系統(tǒng)癱瘓，不過在小范圍可建立統(tǒng)一標(biāo)準(zhǔn)。還有嘉賓提出從技術(shù)和政策兩個層面考慮AGI通用安全，政策層面規(guī)定安全下限，技術(shù)層面實現(xiàn)安全上限。但通用安全在不同語境下情況不同，且面對細(xì)分的如數(shù)據(jù)、網(wǎng)絡(luò)等安全領(lǐng)域時需加以限制來探討。還有嘉賓認(rèn)為雖然理論上可設(shè)計通用安全系統(tǒng)，但從實際出發(fā)，考慮成本及實際需求，專用的安全系統(tǒng)或許更能深入解決問題。

思辨現(xiàn)場熱烈討論

頒發(fā)思辨特邀嘉賓感謝牌

此次論壇歷時四個多小時。最后，CCF YOCSEF現(xiàn)任主席李冠彬?qū)Υ舜握搲M(jìn)行了總結(jié)。

與會嘉賓合影留念

此次論壇對AGI安全進(jìn)化的路徑與抉擇進(jìn)行了深入思辨，相信可以為相關(guān)領(lǐng)域從業(yè)人員提供重要的參考。最后，論壇在線下會場與線上云會場熱烈的氛圍中圓滿結(jié)束。

通訊員/蘇申 姜思羽 王甜甜

責(zé)任編輯/劉秀