May, 2023
利用对比学习优化非自回归变换器
Optimizing Non-Autoregressive Transformers with Contrastive Learning
Chenxin An, Jiangtao Feng, Fei Huang, xipeng Qiu
TL;DR本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型,通过这种方式减轻模态学习的难度,取得了在机器翻译,文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。