3039
2
0
2023-07-18 00:06:09
2023-09-13
2023年7月19日，香港大學曹原教授訪問中國海洋大學人工智能研究院，在信息南樓A321做了題為 ”Understanding the Role of Training Algorithms in Over-Parameterized Learning: Insights from Case Studies” 的報告。
現代機器學習模型（比如大規(guī)模語言模型）通常包含大量參數。對于這種過參數化的模型，訓練損失函數可能存在無限多個最小化者，不同的訓練算法可能會收斂到不同的解。雖然這些解都可能在訓練時產生零誤差，但它們的預測誤差可能截然不同。因此，要理解大型機器學習模型，必須理解訓練算法對預測誤差的影響。曹老師首先對隨機梯度下降和Adam優(yōu)化算法之間的泛化差距進行理論解釋。證明了對于某些學習問題，梯度下降可以訓練一個兩層卷積神經網絡以獲得接近零的測試誤差，而Adam算法只能達到常數級別的測試誤差。
同時，曹老師還展示批歸一化（BN）的“隱式偏差”結果。證明了當使用批歸一化進行二分類問題的線性模型學習時，梯度下降會收斂到在訓練數據上的“均勻邊界分類器”。這個結果還可以擴展到一類簡單的線性CNN。
到場的同學和老師們對這一領域和這幾篇工作興味盎然，紛紛提問和交流，講座在熱烈的討論中結束。
