我們小組(我的博士后楊凌霄為第一作者)與上海交大、香港理工大學(xué)合作發(fā)表在ICML 2021的“無(wú)參數(shù)注意力機(jī)制”論文(Lingxiao Yang, Ru-Yuan Zhang, Lida Li, Xiaohua Xie*. SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks. International Conference on Machine Learning (ICML), 2021)獲得2024世界人工智能大會(huì)青年優(yōu)秀論文提名獎(jiǎng)(https://www.waicyop.cn/article/13)。
這篇論文提出一種概念簡(jiǎn)單且非常有效的注意力機(jī)制。不同于現(xiàn)有的通道/空域注意力模塊,該模塊無(wú)需引入額外參數(shù)進(jìn)行訓(xùn)練,而是根據(jù)神經(jīng)科學(xué)理論(側(cè)抑制理論)構(gòu)造一種特殊的能量函數(shù) ,并通過求解能量函數(shù)的解析解以挖掘神經(jīng)元的重要性,從而為特征圖推導(dǎo)出3D注意力權(quán)值。核心代碼僅需不超過10行代碼即可實(shí)現(xiàn)。該模塊可以以插件形式加載于各類神經(jīng)網(wǎng)絡(luò),譬如CNN(卷積神經(jīng)網(wǎng)絡(luò))、GCN(圖卷積網(wǎng)絡(luò))、SNN(脈沖神經(jīng)網(wǎng)絡(luò)),且不需要訓(xùn)練學(xué)習(xí)。論文發(fā)表兩年多已經(jīng)被引用750次,被多個(gè)領(lǐng)域的學(xué)者采用。
代碼已開源:https://github.com/ZjjConan/SimAM
世界人工智能大會(huì)是由中華人民共和國(guó)外交部、科技部、教育部、工信部、發(fā)改委、中國(guó)科學(xué)院、中國(guó)科協(xié)、上海市政府等聯(lián)名主辦的全球人工智能領(lǐng)域最具影響力的行業(yè)盛會(huì)。