603
2
0
2024-07-19 05:53:55
2024-07-19
7月17日，香港大學(xué)統(tǒng)計(jì)與精算學(xué)系和數(shù)學(xué)系助理教授曹原老師應(yīng)信息學(xué)部的邀請(qǐng)?jiān)L問實(shí)驗(yàn)室，并做題為《深度學(xué)習(xí)中的一些有趣現(xiàn)象及其理論解釋》的精彩報(bào)告。
深度學(xué)習(xí)在許多應(yīng)用中取得了巨大成功。然而，深度學(xué)習(xí)的成功在理論上并不被充分理解。曹原教授首先介紹了深度學(xué)習(xí)中的“良性過擬合”現(xiàn)象，并介紹最近的研究結(jié)果，用于刻畫卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練中良性和有害過擬合的現(xiàn)象。然后，他討論最近在圖像分類任務(wù)中發(fā)現(xiàn)的Adam和隨機(jī)梯度下降之間的泛化差距現(xiàn)象，并提供一個(gè)直觀的解釋，再給出支持這種泛化差距的嚴(yán)格理論。
在討論環(huán)節(jié)，與會(huì)師生就實(shí)驗(yàn)網(wǎng)絡(luò)的優(yōu)化器、數(shù)據(jù)訓(xùn)練中的過擬合現(xiàn)象等問題展開討論，現(xiàn)場(chǎng)氛圍熱烈。最后，董軍宇教授為本次講座做總結(jié)，并再次感謝曹原教授的來訪。
