引領(lǐng)應(yīng)急科普進(jìn)入多模態(tài)新時(shí)代

灣區(qū)時(shí)訊 中山大學(xué)智能工程學(xué)院沈穎團(tuán)隊(duì)今日宣布，專(zhuān)為應(yīng)急科普打造的多模態(tài)大語(yǔ)言模型家族——“神機(jī)大模型”的最新版本2.0正式上線(xiàn)。作為應(yīng)急科普領(lǐng)域的AI領(lǐng)航者，“神機(jī)大模型2.0”不僅繼承了前代版本的應(yīng)急知識(shí)快速問(wèn)答、規(guī)章制度查詢(xún)等功能，還創(chuàng)新性地引入了識(shí)圖辨事的多模態(tài)應(yīng)用場(chǎng)景。特別是針對(duì)火災(zāi)預(yù)防這一關(guān)鍵環(huán)節(jié)，神機(jī)大模型2.0版本通過(guò)豐富的圖文交互，能夠識(shí)別圖像中潛在的火災(zāi)風(fēng)險(xiǎn)點(diǎn)，幫助非專(zhuān)業(yè)人士識(shí)別日常生活場(chǎng)景中的火災(zāi)隱患，并提供專(zhuān)業(yè)的防范建議，使得火災(zāi)預(yù)防成為每個(gè)家庭的一部分。此外，2.0版還增添了圖文并茂的火災(zāi)知識(shí)科普內(nèi)容，讓?xiě)?yīng)急知識(shí)的學(xué)習(xí)變得既有趣又詳盡，充滿(mǎn)專(zhuān)業(yè)細(xì)節(jié)。網(wǎng)頁(yè)版更新的同時(shí)，神機(jī)APP也同步推出，讓用戶(hù)在使用過(guò)程中更為便捷，響應(yīng)速度更加快速。

神機(jī)2.0識(shí)圖辨事頁(yè)面展示

研發(fā)團(tuán)隊(duì)進(jìn)行討論

中山大學(xué)智能工程學(xué)院為神機(jī)大模型的研發(fā)提供了先進(jìn)的研究平臺(tái)與人才培養(yǎng)平臺(tái)。中國(guó)計(jì)算機(jī)學(xué)會(huì)青年計(jì)算機(jī)科技論壇（YOCSEF）廣州、廣東省消防科學(xué)與智能應(yīng)急技術(shù)重點(diǎn)實(shí)驗(yàn)室、琶洲實(shí)驗(yàn)室-人工智能與數(shù)字經(jīng)濟(jì)廣東省實(shí)驗(yàn)室為我們的研究團(tuán)隊(duì)提供了豐富的學(xué)術(shù)資源與寶貴的行業(yè)經(jīng)驗(yàn)指導(dǎo)。騰訊AI Lab在技術(shù)交流方面與我們的團(tuán)隊(duì)進(jìn)行了深入合作與分享。

神機(jī)官網(wǎng)：shenjiai.cn

神機(jī)APP下載頁(yè)面：shenjiai.cn/dl

團(tuán)隊(duì)主頁(yè)：https://github.com/SYSU-NLPLab/AIGC

神機(jī)APP下載二維碼：

神機(jī)2.0有哪些新突破？

多模態(tài)理解能力：“神機(jī)大模型2.0”實(shí)現(xiàn)了多模態(tài)理解能力的新突破。通過(guò)對(duì)圖像進(jìn)行識(shí)別與推理，模型能夠完成從易燃物識(shí)別、火災(zāi)隱患分析到滅火器械使用教學(xué)和逃生指南解讀等一系列復(fù)雜任務(wù)。結(jié)合用戶(hù)的個(gè)性化查詢(xún)與現(xiàn)行的消防設(shè)施國(guó)家標(biāo)準(zhǔn)及廣東省地方標(biāo)準(zhǔn)等資料，實(shí)現(xiàn)更加專(zhuān)業(yè)且細(xì)致的多模態(tài)消防應(yīng)急科普。

聚焦火災(zāi)隱患：新版本聚焦于面向公眾科普的日常場(chǎng)景火災(zāi)隱患的識(shí)別，基于豐富的多模態(tài)理解能力，幫助用戶(hù)識(shí)別潛在的火災(zāi)風(fēng)險(xiǎn)，例如，堆積的紙箱、裸露的電線(xiàn)等容易引發(fā)火災(zāi)的因素都可以被及時(shí)捕捉到。這不僅提高了公眾的安全意識(shí)，也能提供相應(yīng)的改善措施，為火災(zāi)預(yù)防提供了有力的技術(shù)支持。

圖文并茂知識(shí)科普：在火災(zāi)知識(shí)科普方面，“神機(jī)大模型2.0”也進(jìn)行了全面升級(jí)。通過(guò)圖文并茂的方式，為用戶(hù)提供了更加專(zhuān)業(yè)、趣味、充滿(mǎn)科普細(xì)節(jié)的火災(zāi)安全教育內(nèi)容。無(wú)論是滅火器的使用，還是逃生指南的解讀，新版本都能以更加直觀、易懂的形式呈現(xiàn)給用戶(hù)，提高了科普的趣味性和實(shí)用性。

全新的神機(jī)2.0有哪些技術(shù)亮點(diǎn)？

精細(xì)化火災(zāi)圖文數(shù)據(jù)構(gòu)建：基于公眾對(duì)火災(zāi)預(yù)防知識(shí)與防火安全教育的科普需求，團(tuán)隊(duì)設(shè)計(jì)了包括火災(zāi)隱患識(shí)別、消防知識(shí)科普、逃生指南解讀等一系列識(shí)圖辨事任務(wù)。為了確保模型的準(zhǔn)確性和泛化能力，團(tuán)隊(duì)從開(kāi)源的1億個(gè)中文圖文對(duì)中定向篩選出了70K張與火災(zāi)相關(guān)的圖像，針對(duì)不同任務(wù)生成了相應(yīng)的問(wèn)答對(duì)數(shù)據(jù)。這不僅豐富了模型的學(xué)習(xí)材料，也提高了模型對(duì)現(xiàn)實(shí)世界復(fù)雜情況的理解能力。

專(zhuān)業(yè)指南導(dǎo)向的多模態(tài)RAG：研究團(tuán)隊(duì)利用專(zhuān)業(yè)的公開(kāi)消防建筑規(guī)范國(guó)家標(biāo)準(zhǔn)與廣東省地方標(biāo)準(zhǔn)等白皮書(shū)進(jìn)行消防專(zhuān)業(yè)知識(shí)的向量庫(kù)構(gòu)建，基于專(zhuān)家標(biāo)注的消防設(shè)施檢測(cè)報(bào)告進(jìn)行圖文向量庫(kù)構(gòu)建，利用多模態(tài)檢索增強(qiáng)生成技術(shù)（RAG）增強(qiáng)對(duì)火災(zāi)隱患的識(shí)別的準(zhǔn)確性與有效性，實(shí)現(xiàn)更精細(xì)、更專(zhuān)業(yè)、更詳細(xì)的火災(zāi)隱患排查與建筑設(shè)施安全評(píng)估。

高性能模型訓(xùn)練與評(píng)測(cè)：為了在提高消防領(lǐng)域?qū)I(yè)能力的同時(shí)維持大語(yǔ)言模型通用能力，在自行構(gòu)建的火災(zāi)圖文數(shù)據(jù)與通用大規(guī)模圖文數(shù)據(jù)集共計(jì)1,298,672條圖文對(duì)上使用4張40GB NVIDIA A100 GPU進(jìn)行模型訓(xùn)練。此外，通過(guò)從二十余個(gè)廣泛使用的多模態(tài)大語(yǔ)言模型評(píng)測(cè)集中篩選出與火災(zāi)相關(guān)的2000余條高質(zhì)量評(píng)測(cè)數(shù)據(jù)，在構(gòu)建的火災(zāi)評(píng)測(cè)集上進(jìn)行了嚴(yán)格測(cè)試，“神機(jī)大模型2.0”取得了70.3的準(zhǔn)確率，超越了一系列開(kāi)源的多模態(tài)大模型。

用戶(hù)高效響應(yīng)優(yōu)化：為了改善用戶(hù)體驗(yàn)，“神機(jī)大模型2.0”在響應(yīng)時(shí)間上實(shí)現(xiàn)了顯著提升，能夠在7秒內(nèi)完成對(duì)圖像中火災(zāi)隱患的識(shí)別和預(yù)警，同時(shí)支持每分鐘1200次以上的并發(fā)響應(yīng)。團(tuán)隊(duì)特別關(guān)注了交互界面的設(shè)計(jì)和響應(yīng)機(jī)制的優(yōu)化，通過(guò)內(nèi)置用戶(hù)提示簡(jiǎn)化火災(zāi)隱患識(shí)別操作流程，意味著在緊急情況下用戶(hù)能夠更快地獲取到需要的信息和服務(wù)，從而提高應(yīng)急響應(yīng)效率。

功能展示：圖文交互新體驗(yàn)

神機(jī)大模型2.0現(xiàn)已上線(xiàn)，歡迎訪問(wèn)神機(jī)官網(wǎng)進(jìn)行體驗(yàn)shenjiai.cn/chat

火災(zāi)隱患智能預(yù)警：

“神機(jī)大模型2.0”具備火災(zāi)隱患識(shí)別功能，能夠快速識(shí)別出環(huán)境中的火災(zāi)隱患。用戶(hù)只需上傳圖片，模型便能自動(dòng)識(shí)別出潛在的火災(zāi)風(fēng)險(xiǎn)，為用戶(hù)提供智能預(yù)警。

倉(cāng)庫(kù)火災(zāi)隱患識(shí)別

樓道火災(zāi)隱患識(shí)別

滅火器械使用教程：

用戶(hù)可以通過(guò)上傳包含滅火器的圖片或描述具體情境，獲得專(zhuān)業(yè)的使用指南。無(wú)論是在家庭、學(xué)校還是辦公場(chǎng)所，用戶(hù)都能獲得清晰的操作步驟和注意事項(xiàng)，確保在面對(duì)火情時(shí)能夠迅速采取正確的行動(dòng)，有效控制初期火災(zāi)，保障生命財(cái)產(chǎn)安全。

火災(zāi)科普漫畫(huà)解讀：

為了使應(yīng)急知識(shí)的學(xué)習(xí)更加生動(dòng)有趣，“神機(jī)大模型2.0”能進(jìn)行火災(zāi)科普漫畫(huà)解讀功能。用戶(hù)可以通過(guò)上傳或選擇內(nèi)置的圖文并茂的科普漫畫(huà)，獲得專(zhuān)業(yè)的解讀。這些漫畫(huà)涵蓋了從火災(zāi)預(yù)防到逃生技巧的各種知識(shí)點(diǎn)，以直觀的形式傳達(dá)復(fù)雜的消防安全信息，幫助用戶(hù)輕松掌握應(yīng)急知識(shí)，增強(qiáng)自我保護(hù)能力。

消防疏散指導(dǎo)：

“神機(jī)大模型2.0能夠根據(jù)建筑物平面圖或用戶(hù)提供的詳細(xì)描述，提供最佳的疏散路徑建議。該功能結(jié)合建筑物結(jié)構(gòu)特點(diǎn)和安全出口位置，幫助用戶(hù)規(guī)劃最安全有效的逃生路線(xiàn)，大大提高了緊急疏散的效率和安全性。

關(guān)于中山大學(xué)智能工程學(xué)院智能知識(shí)工程實(shí)驗(yàn)室
中山大學(xué)沈穎團(tuán)隊(duì)長(zhǎng)期致力于自然語(yǔ)言理解與生成、大語(yǔ)言模型、知識(shí)計(jì)算與推理、多模態(tài)學(xué)習(xí)、數(shù)據(jù)挖掘和智能問(wèn)答系統(tǒng)的研究與應(yīng)用。沈穎博士，中共黨員，中山大學(xué)百人引進(jìn)人才，副教授，博士生導(dǎo)師，IEEE Senior Member，高被引學(xué)者，入選“全球前2%科學(xué)家榜單”。沈穎于2015年獲法國(guó)巴黎第十大學(xué)計(jì)算機(jī)博士學(xué)位?，F(xiàn)任中山大學(xué)智能工程學(xué)院副教授。沈穎主要從事人工智能、自然語(yǔ)言處理、多模態(tài)計(jì)算、大語(yǔ)言模型等理論和應(yīng)用研究工作。于機(jī)械工業(yè)出版社出版了64萬(wàn)字高等院校智能工程系列教材《自然語(yǔ)言處理導(dǎo)論》。講授的《自然語(yǔ)言處理》課程被評(píng)為教育部“智能基座"金課以及中山大學(xué)校級(jí)一流課程，獲中山大學(xué)第十一屆校級(jí)本科教育教學(xué)成果獎(jiǎng)一等獎(jiǎng)，并被納入教育部慕課西行課程。在知名學(xué)術(shù)會(huì)議和期刊上發(fā)表學(xué)術(shù)論文140余篇，其中SCI期刊50篇，CCFA類(lèi)會(huì)議論文29篇，CCF B類(lèi)會(huì)議30篇。其中ESI高被引論文5篇、ESI熱點(diǎn)論文2篇，多次獲人工智能頂會(huì)最佳論文獎(jiǎng)。已授權(quán)專(zhuān)利20余項(xiàng);授權(quán)軟件著作權(quán)25項(xiàng);發(fā)布團(tuán)體標(biāo)準(zhǔn)1項(xiàng)。開(kāi)發(fā)了首個(gè)應(yīng)急多模態(tài)大語(yǔ)言模型神機(jī)（shenjiai.cn）。主持多項(xiàng)國(guó)際、國(guó)家、省部級(jí)研究項(xiàng)目，成果在多家單位中落地應(yīng)用。

通訊員/中神機(jī)

責(zé)任編輯/劉秀