ICMLDec, 2020

BANG：大规模预训练实现自回归与非自回归生成的桥梁

PDF
TL;DR该论文提出了 BANG，这是一种用于预训练模型的新方法，能够同时支持自回归生成、非自回归生成和半自回归生成，显著改善了问题生成和对话生成的性能。
pretraining modelautoregressive generationnon-autoregressive generationquestion generationdialogue generation
发现论文，激发创造
  • 一种自适应混合蒸馏方法用于非自回归生成

    本文提出了一种基于自适应学习的混合蒸馏算法，用于进一步提高 BANG 生成质量。实验证明该方法有效性，并且不会影响推理延迟，相比 BANG 可以显著提高 BLEU 分数，在自回归生成方法方面还可获得超过 7 倍的加速。

    May, 2022

  • 预训练语言模型的非自回归式文本生成

    本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.

    Feb, 2021

  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • 非自回归模型的序列生成研究

    该研究通过提出一种分析模型来表征 Non-autoregressive 模型生成不同序列任务的难易程度，并发现知识蒸馏和源 - 目标对齐技术可以帮助提升 Non-autoregressive 模型的准确性，减少目标序列的依赖性。

    Apr, 2020

  • 定向无环 Transformer 预训练用于高质量的非自回归文本生成

    提出一种 Pre-trained Directed Acyclic Transformer（PreDAT）和新颖的预训练任务来促进 NAR 生成中的预测一致性。在五个文本生成任务上的实验表明，PreDAT 明显优于现有的预先训练的 NAR 模型（平均得分 + 4.2），甚至在基于 n-gram 的指标上比预先训练的自回归基线效果更好，并且吞吐量提高了 17 倍。

    Apr, 2023

  • 使用单语数据提高非自回归神经机器翻译的性能

    利用大规模单语语料，基于知识蒸馏的方式提升非自回归神经机器翻译模型的效果，并成功地在 WMT14 En-De 和 WMT16 En-Ro 新闻翻译任务上验证了模型的性能提升。

    May, 2020

  • 语音转文本非自回归建模的比较研究

    本文对不同的无自回归（NAR）建模方法进行了比较性研究，实验证明了 NAR 模型相较自回归基线的精度降低代价下，可以同时在序列中生成多个输出，具有在实时应用中优足的潜力，在自动语音识别领域的性能差距上得到了一些有趣的发现，并展示了结合这些技术来进一步提高精度并应用于无自回归端到端语音翻译的能力。

    Oct, 2021

  • 一种基于 EM 方法的非自回归条件序列生成方法

    本文提出的一种新方法使用统一的 EM 框架共同优化 AR 和 NAR 模型，以有效地引导系统消除输出序列中的多模态，评估结果表明，该方法在机器翻译任务上实现了具有竞争力的性能，同时显著减少了推理延迟。

    Jun, 2020

  • UT5：使用展开去噪预训练非自回归性 T5 模型

    通过展开去噪并展示其在下游生成任务中的最先进结果，我们研究了 T5 模型的非自回归无监督预训练。

    Nov, 2023

  • 非自回归模型词汇扩容用于高效生成式检索

    该论文研究了非自回归语言模型作为生成式检索的更高效的替代方法，并提出了 PIXAR，一种扩展目标词汇的新方法，通过包括多词实体和常见短语（高达 500 万个标记）来减少标记之间的依赖性，并通过推理优化策略在保持低推理延迟的同时实现了好于标准非自回归模型 31.0% 的相对改进 (MRR@10，MS MARCO 数据集)。

    Jun, 2024