Oct, 2024

TrAct:使第一个层的预激活可训练

TL;DR本研究解决了视觉模型第一层训练中的问题,提出了通过对第一层激活进行梯度下降来构建激活提议的概念性程序。研究发现,TrAct(激活训练)能够在保持低计算开销的情况下,显著加速训练,速度提升在1.25倍到4倍之间,展示了它在多种视觉模型中的有效性。