254
0
2025-04-16
2025-04-16
【例會(huì)預(yù)告】
會(huì)議名稱：數(shù)據(jù)科學(xué)與創(chuàng)新管理團(tuán)隊(duì)例會(huì)
會(huì)議時(shí)間：2025年04月17日（周四）14：30-17：00
會(huì)議地點(diǎn)：經(jīng)管樓607會(huì)議室
匯報(bào)人： 李虎峰
匯報(bào)題目：神經(jīng)網(wǎng)絡(luò)中的知識(shí)蒸餾(Distilling the Knowledge in a Neural Network )
匯報(bào)摘要：
提高幾乎所有機(jī)器學(xué)習(xí)算法性能的一個(gè)非常簡(jiǎn)單的方法就是在同一數(shù)據(jù)上訓(xùn)練多個(gè)不同的模型，然后對(duì)它們的預(yù)測(cè)取平均值。然而，使用一整套模型進(jìn)行預(yù)測(cè)非常繁瑣，而且計(jì)算成本過高，難以部署到大量用戶，尤其是在單個(gè)模型本身就是大型神經(jīng)網(wǎng)絡(luò)的情況下。Caruana 和他的同事已經(jīng)證明，可以將模型集成中的知識(shí)壓縮成一個(gè)更易于部署的單一模型，并且我們使用不同的壓縮技術(shù)進(jìn)一步開發(fā)了這種方法。我們?cè)?MNIST 數(shù)據(jù)集上取得了一些令人驚訝的結(jié)果，并且我們證明了，通過將模型集成中的知識(shí)提煉成一個(gè)單一模型，可以顯著改進(jìn)一個(gè)被廣泛使用的商業(yè)系統(tǒng)的聲學(xué)模型。我們還引入了一種新型的集成模型，它由一個(gè)或多個(gè)完整模型和許多專家模型組成，這些專家模型可以學(xué)習(xí)區(qū)分完整模型容易混淆的細(xì)粒度類別。與專家模型的混合不同，這些專家模型可以快速并行地進(jìn)行訓(xùn)練。
