由CCF YOCSEF現(xiàn)任主席李冠彬?qū)OCSEF文化進(jìn)行介紹，最后預(yù)祝本次論壇圓滿成功。李冠彬介紹本次論壇所設(shè)立的環(huán)境背景，討論的主要內(nèi)容的同時(shí)也說明了YOCSEF的含義、理念、分論壇、YOCSEF廣州的特色文化、思辨論壇的平等性，自由性及發(fā)言規(guī)則，最后對(duì)支持單位表達(dá)了感謝。

圖4 CCF YOCSEF現(xiàn)任主席李冠彬介紹YOCSEF文化 

廣州大學(xué)齊佳音教授以“大模型保險(xiǎn)箍：大模型防護(hù)欄的一種模式”為題作引導(dǎo)報(bào)告，概述大模型安全合規(guī)的風(fēng)險(xiǎn)與挑戰(zhàn)，詳細(xì)介紹了大模型保險(xiǎn)箍的設(shè)想與實(shí)踐，并表達(dá)了對(duì)大模型多語言安全問題的思考。中山大學(xué)盧偉教授以“人工智能生成媒體的被動(dòng)取證和主動(dòng)防御 ”為題作引導(dǎo)報(bào)告，分享了在單模態(tài)和多模態(tài)智能媒體檢測及主動(dòng)防御成果，介紹了制定智能媒體檢測的技術(shù)規(guī)范與行業(yè)應(yīng)用情況。華南理工大學(xué)楊曉偉教授以“可解釋跨域遷移學(xué)習(xí)算法初探--從統(tǒng)計(jì)學(xué)習(xí)理論的基本假設(shè)說起 ”為題作引導(dǎo)報(bào)告，概述了領(lǐng)域自適應(yīng)問題的來源與關(guān)鍵，詳細(xì)介紹了領(lǐng)域自適應(yīng)的誤差界估計(jì)、建模和算法設(shè)計(jì)的最新進(jìn)展。哈爾濱工業(yè)大學(xué)（深圳）花忠云教授以“IBD-PSC: 基于參數(shù)縮放一致性的輸入級(jí)后門檢測”作引導(dǎo)報(bào)告，分享了一項(xiàng)針對(duì)深度神經(jīng)網(wǎng)絡(luò)中后門攻擊的防御工作，具有實(shí)際應(yīng)用價(jià)值，并指出了未來在其他任務(wù)和模態(tài)上可以進(jìn)一步探索。

圖5 齊佳音教授作引導(dǎo)報(bào)告 

圖6 盧偉教授作引導(dǎo)報(bào)告 

圖7 楊曉偉教授作引導(dǎo)報(bào)告 

圖8 花忠云教授作引導(dǎo)報(bào)告 

在四位引導(dǎo)發(fā)言嘉賓作報(bào)告后，由論壇執(zhí)行主席姜思羽、蘇申主持論壇思辨環(huán)節(jié)。思辨嘉賓中山大學(xué)副教授毛明志、西安電子科技大學(xué)（廣州）副教授趙搏文、奇安信科技集團(tuán)股份有限公司專家李吉祥、杭州安恒信息技術(shù)股份有限公司副總裁符春輝以及與會(huì)嘉賓圍繞“尚未撥開迷霧的AGI，是否已經(jīng)到了考慮其安全的時(shí)候？”、“AGI帶來哪些新的安全挑戰(zhàn)，怎么解決？”、““通用”人工智能了，“通用”安全是否也有可能？”三個(gè)議題展開了深入思辨，總結(jié)得出以下觀點(diǎn)。

圖9 頒發(fā)引導(dǎo)嘉賓感謝牌 

思辨議題一：尚未撥開迷霧的AGI，是否已經(jīng)到了考慮其安全的時(shí)候？

關(guān)于考慮AGI 安全是否尚早問題，存在不同觀點(diǎn)。毛明志教授認(rèn)為盡管 AGI 技術(shù)尚未成熟，但為保障其健康發(fā)展和安全應(yīng)用，提前研究并制定相應(yīng)的安全治理框架、安全防護(hù)體系及管理措施很關(guān)鍵，并以醫(yī)療領(lǐng)域?yàn)槔赋?/span> AGI 存在如隱私數(shù)據(jù)泄露、算法黑箱等諸多潛在風(fēng)險(xiǎn)，一旦失控后果嚴(yán)重。且在 AGI 初期嵌入安全防護(hù)措施，不僅能避免后期修復(fù)漏洞的風(fēng)險(xiǎn)，還可降低修復(fù)成本。AGI技術(shù)安全性一定會(huì)影響研發(fā)，但這種影響是正向的、是積極的。有嘉賓指出 AGI 在不同發(fā)展階段都要考慮安全，只是各階段考慮的重點(diǎn)和方向不同。有嘉賓擔(dān)心 AGI 最大的安全威脅是可能脫離人類控制，所以對(duì)于像失控等根本性影響的情況應(yīng)盡早考慮，如在制造 AGI 時(shí)要應(yīng)對(duì)極端情況。同時(shí)，提到關(guān)注機(jī)器生成內(nèi)容的規(guī)范標(biāo)準(zhǔn)。還有嘉賓強(qiáng)調(diào)人工智能初衷是協(xié)助人類解決復(fù)雜任務(wù)、讓人類生活更美好，所以不管是AGI還是大模型，在發(fā)展過程中都要保證數(shù)據(jù)、系統(tǒng)、算法等方面的可靠性、可信性，所以更要考慮其安全問題。除此之外，也有與會(huì)嘉賓認(rèn)為，現(xiàn)在就行動(dòng)制定法規(guī)等去遏制還未出現(xiàn)的事物可能有負(fù)面作用。應(yīng)先讓產(chǎn)業(yè)充分發(fā)展，安全問題可等到產(chǎn)業(yè)發(fā)展到一定規(guī)模時(shí)再設(shè)計(jì)相應(yīng)安全解決方案，過早考慮安全會(huì)限制資本投入和工業(yè)應(yīng)用價(jià)值兌現(xiàn)。

思辨議題二：AGI帶來哪些新的安全挑戰(zhàn)，怎么解決？

針對(duì)此議題，有嘉賓認(rèn)為AGI 雖尚未完全到來，但假定其到來后，會(huì)使網(wǎng)絡(luò)安全、數(shù)據(jù)安全等方面面臨新挑戰(zhàn)，比如可能讓攻擊行為更易實(shí)施、攻擊人群增多，還會(huì)使數(shù)據(jù)安全等問題變得更為復(fù)雜。AGI 多任務(wù)執(zhí)行會(huì)因資源共享、任務(wù)相互依賴而增加系統(tǒng)漏洞，導(dǎo)致安全問題增多，像大模型存在提示詞攻擊等漏洞情況。并提出了可通過提升可解釋性、進(jìn)行價(jià)值規(guī)劃或價(jià)值對(duì)齊等方式來應(yīng)對(duì)惡意利用情況。工業(yè)界代表介紹了在大模型領(lǐng)域相關(guān)實(shí)踐，一是對(duì)大模型輸入輸出進(jìn)行安全防護(hù)，確保其輸入無異常數(shù)據(jù)、輸出合理合規(guī)；二是利用大模型等人工智能技術(shù)為傳統(tǒng)安全行業(yè)賦能，提升效率，如對(duì)大量報(bào)警信息先降噪再做風(fēng)險(xiǎn)排查。還有嘉賓提出了從大語言模型的價(jià)值觀、偏見角度考慮AGI 安全問題，并以青少年使用大模型可能受不良價(jià)值觀影響為例，強(qiáng)調(diào)提前關(guān)注 AGI 安全的重要性，還提出AGI更需要專用的、全方位的安全策略和方法。

思辨議題三：“通用”人工智能了，“通用”安全是否也有可能？

有嘉賓認(rèn)為，具有可能性，提出可設(shè)計(jì)類似通用安全主線的協(xié)議，將網(wǎng)絡(luò)各層面（網(wǎng)絡(luò)層、應(yīng)用層、數(shù)據(jù)層等）的安全需求兼容進(jìn)去。鑒于 AGI 的多功能性、跨領(lǐng)域性使其成為高度復(fù)雜系統(tǒng)，難以建立全球統(tǒng)一的防護(hù)標(biāo)準(zhǔn)，但在國內(nèi)可設(shè)立底線要求，各行業(yè)（金融、物流等）再根據(jù)自身安全訴求制定相應(yīng)標(biāo)準(zhǔn)，將通用的底線要求與各行業(yè)標(biāo)準(zhǔn)相結(jié)合。同時(shí)，在大范圍建立統(tǒng)一防護(hù)標(biāo)準(zhǔn)較難，因 AGI 應(yīng)用擴(kuò)展會(huì)使受攻擊點(diǎn)增多、系統(tǒng)依賴關(guān)系復(fù)雜，一旦某點(diǎn)出問題容易導(dǎo)致整個(gè)生態(tài)或系統(tǒng)癱瘓，不過在小范圍可建立統(tǒng)一標(biāo)準(zhǔn)。還有嘉賓提出從技術(shù)和政策兩個(gè)層面考慮AGI通用安全，政策層面規(guī)定安全下限，技術(shù)層面實(shí)現(xiàn)安全上限。但通用安全在不同語境下情況不同，且面對(duì)細(xì)分的如數(shù)據(jù)、網(wǎng)絡(luò)等安全領(lǐng)域時(shí)需加以限制來探討。還有嘉賓認(rèn)為雖然理論上可設(shè)計(jì)通用安全系統(tǒng)，但從實(shí)際出發(fā)，考慮成本及實(shí)際需求，專用的安全系統(tǒng)或許更能深入解決問題。

圖10 思辨現(xiàn)場熱烈討論 

圖11 頒發(fā)思辨特邀嘉賓感謝牌 

此次論壇歷時(shí)四個(gè)多小時(shí)。最后，CCF YOCSEF現(xiàn)任主席李冠彬?qū)Υ舜握搲M(jìn)行了總結(jié)。此次論壇對(duì)AGI安全進(jìn)化的路徑與抉擇進(jìn)行了深入思辨，相信可以為相關(guān)領(lǐng)域從業(yè)人員提供重要的參考。最后，論壇在線下會(huì)場與線上云會(huì)場熱烈的氛圍中圓滿結(jié)束。

圖12 與會(huì)嘉賓合影留念