Nov, 2024

训练噪声令牌剪枝

TL;DR本研究解决了视觉变换器中的令牌剪枝问题,提出了一种名为训练噪声令牌(TNT)剪枝的新方法。该方法通过将离散令牌丢弃条件放宽为连续的添加噪声,优化了训练过程,同时在部署环境中保持了离散丢弃的计算优势。实验结果显示,TNT在与以往剪枝方法的比较中具有显著优势。