Jul, 2024

利用逐层学习率改进迁移学习中的知识蒸馏

TL;DR通过逐层学习方案调整学习参数,我们提出了一种新颖的方法,应用于基于注意力图和导数的迁移学习方法,并在广泛的数据集中观察到改进的学习性能和稳定性。