Apr, 2023
鲁棒性强的模型参数可获更好迁移能力:在迁移学习中绘制更多可迁移子网络
Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning
Yonggan Fu, Ye Yuan, Shang Wu, Jiayi Yuan, Yingyan Lin
TL;DR该研究提出了一种新的迁移学习管道,可以通过具有适当诱导的对抗鲁棒性的子网络来实现更好的迁移能力,从而在各种下游任务和稀疏性模式中实现增强的准确性和稀疏性 - 精度权衡,进一步丰富了彩票票假设。