91一级特黄大片|婷婷中文字幕在线|av成人无码国产|日韩无码一二三区|久久不射强奸视频|九九九久久久精品|国产免费浮力限制

【例會預(yù)告】

會議名稱：數(shù)據(jù)科學(xué)與創(chuàng)新管理團(tuán)隊例會

會議時間：2025年04月17日（周四）14：30-17：00

會議地點：經(jīng)管樓607會議室

匯報人： 李虎峰

匯報題目：神經(jīng)網(wǎng)絡(luò)中的知識蒸餾(Distilling the Knowledge in a Neural Network )

匯報摘要：

提高幾乎所有機(jī)器學(xué)習(xí)算法性能的一個非常簡單的方法就是在同一數(shù)據(jù)上訓(xùn)練多個不同的模型，然后對它們的預(yù)測取平均值。然而，使用一整套模型進(jìn)行預(yù)測非常繁瑣，而且計算成本過高，難以部署到大量用戶，尤其是在單個模型本身就是大型神經(jīng)網(wǎng)絡(luò)的情況下。Caruana 和他的同事已經(jīng)證明，可以將模型集成中的知識壓縮成一個更易于部署的單一模型，并且我們使用不同的壓縮技術(shù)進(jìn)一步開發(fā)了這種方法。我們在 MNIST 數(shù)據(jù)集上取得了一些令人驚訝的結(jié)果，并且我們證明了，通過將模型集成中的知識提煉成一個單一模型，可以顯著改進(jìn)一個被廣泛使用的商業(yè)系統(tǒng)的聲學(xué)模型。我們還引入了一種新型的集成模型，它由一個或多個完整模型和許多專家模型組成，這些專家模型可以學(xué)習(xí)區(qū)分完整模型容易混淆的細(xì)粒度類別。與專家模型的混合不同，這些專家模型可以快速并行地進(jìn)行訓(xùn)練。