ACLSep, 2023
只需 5% 的注意力:高效的长距离文档级神经机器翻译
Only 5\% Attention Is All You Need: Efficient Long-range Document-level Neural Machine Translation
Zihan Liu, Zewei Sun, Shanbo Cheng, Shujian Huang, Mingxuan Wang
TL;DR通过引入基于轻量级注意力的额外选择层,我们在保持翻译性能的同时加快了 20%的速度,能够实现将注意力仅集中在约 5%的令牌上,从而节省了 93%的计算成本。