【源自趙宏鑫動態(tài)】
題目:用于高效通信聯(lián)邦學(xué)習(xí)的動態(tài)單步合成特征壓縮
作者:劉鑫,張翼英等
會議:CISCE 2025
摘要:聯(lián)邦學(xué)習(xí)(Federated Learning, FL)通過分布式訓(xùn)練保護(hù)數(shù)據(jù)隱私,但高通信開銷限制了其在資源受限環(huán)境中的應(yīng)用。本文提出了一種通信高效的聯(lián)邦學(xué)習(xí)方法—動態(tài)單步合成特征壓縮(Dynamic Single-Step Synthetic Features Compressor, D-3SFC),通過單步優(yōu)化生成小型合成數(shù)據(jù)集,并結(jié)合梯度幅值、客戶端異質(zhì)性和訓(xùn)練損失動態(tài)調(diào)整樣本數(shù)量,以在低通信成本下保持模型性能。D-3SFC在客戶端異質(zhì)性感知的基礎(chǔ)上,采用加權(quán)梯度聚合和動量更新,進(jìn)一步提升Non-IID場景的收斂穩(wěn)定性。實(shí)驗(yàn)基于MLP和MNISTNet模型,在MNIST和FMNIST數(shù)據(jù)集上進(jìn)行,Dirichlet參數(shù)α=1.0模擬高異質(zhì)性場景。結(jié)果表明,D-3SFC相較FedAvg通信成本降低85.6倍,服務(wù)器精度分別達(dá)90.03%和85.63%,優(yōu)于SignSGD、Top-K和FedSynth等基線方法,余弦相似度達(dá)0.89。其單步優(yōu)化設(shè)計(jì)顯著降低計(jì)算復(fù)雜度,適合低資源設(shè)備,為通信高效聯(lián)邦學(xué)習(xí)提供了一種新穎且實(shí)用的解決方案。