EMNLPJun, 2024
聚焦核心:通过裁剪令牌压缩实现高效的文档分类注意力
Focus on the Core: Efficient Attention via Pruned Token Compression for Document Classification
Jungmin Yun, Mihyeon Kim, Youngbin Kim
TL;DR通过结合令牌修剪和令牌合并的策略,我们在基于 Transformer 模型的基础上提出了改进的方法,既提高了模型的性能,又降低了计算需求。在各种数据集上的实验证明,与基准模型相比,我们的方法在准确度上提升了 5% p,F1 得分提升了 5.6% p。此外,我们成功减少了内存成本到 0.61 倍,并实现了 1.64 倍的加速。