Jun, 2023
使用预训练语言模型、嵌入蒸馏和上采样策略改善 CTC 非自回归翻译质量
Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC
Shen-sian Syu, Juncheng Xie, Hung-yi Lee
TL;DR通过使用 CTC loss 进行微调 PMLM 模型、采用 MASK 插入方案进行上采样、使用嵌入蒸馏方法进一步提高性能,使得非自回归模型获得了更好的翻译质量和加速,并在多个数据集上优于自回归模型