AAAIMar, 2023
AMOM: 条件掩码语言模型的自适应掩码
AMOM: Adaptive Masking over Masking for Conditional Masked Language Model
Yisheng Xiao, Ruiyang Xu, Lijun Wu, Juntao Li, Tao Qin...
TL;DR本文介绍了一种简单而有效的自适应遮盖策略,用于增强解码器的细化能力和简化编码器优化,证明该方法在多任务序列生成中超越了强大的 CMLM 模型,在机器翻译任务中获得了最先进的性能,并在至少 2.2 倍的加速下比 AR Transformer 实现了更好的性能。