ELMER: 一种高效且有效的文本生成的非自回归预训练语言模型

EMNLPOct, 2022

ELMER: 一种高效且有效的文本生成的非自回归预训练语言模型

ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation

Junyi Li, Tianyi Tang, Wayne Xin Zhao, Jian-Yun Nie, Ji-Rong Wen

TL;DR研究了采用预训练语言模型 (PLMs) 方法的文本生成任务，提出了一种用于 NAR 文本生成的有效 PLM（ELMER），它可以显式地建模 NAR 生成中的标记依赖。ELMER 可根据预测置信度在不同层产生标记，从而实现优化并快速的生成，在三个文本生成任务中取得优异的表现，同时达到了 10 倍的推理加速。

Abstract

We study the text generation task under the approach of pre-trained language models (PLMs). Typically, an auto-regressive (AR) method is adopted for generating texts in a token-by-token manner. Despite many advantages of AR generation, it usually suffers from inefficient inference. The

text generation pre-trained language models non-autoregressive models elmer inference speedup

发现论文，激发创造

一种基于 EM 方法的非自回归条件序列生成方法

本文提出的一种新方法使用统一的 EM 框架共同优化 AR 和 NAR 模型，以有效地引导系统消除输出序列中的多模态，评估结果表明，该方法在机器翻译任务上实现了具有竞争力的性能，同时显著减少了推理延迟。

Jun, 2020

非自回归模型的序列生成研究

该研究通过提出一种分析模型来表征 Non-autoregressive 模型生成不同序列任务的难易程度，并发现知识蒸馏和源 - 目标对齐技术可以帮助提升 Non-autoregressive 模型的准确性，减少目标序列的依赖性。

Apr, 2020

预训练语言模型的非自回归式文本生成

本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.

Feb, 2021

基于编辑的非自回归神经机器翻译的强化学习

非自回归（NAR）语言模型在神经机器翻译（NMT）中以低延迟著称。然而，由于较大的解码空间和准确捕捉目标单词间的依赖关系的困难，在 NAR 模型和自回归模型之间存在性能差距。为了解决这些挑战，我们将强化学习（RL）应用于编辑型 NAR 模型的典型例子 Levenshtein Transformer，通过使用自生成的数据，证明 RL 可以提高编辑型 NAR 模型的性能。我们探索了两种 RL 方法：逐步奖励最大化和情节奖励最大化，讨论了这两种方法的优缺点并进行了实证验证。此外，我们在实验中研究了温度设置对性能的影响，确认正确的温度设置对 NAR 模型的训练的重要性。

May, 2024

Paraformer：用于非自回归端到端语音识别的快速准确并行 Transformer

为了加速端到端语音识别中的推理，本文提出了一个名为 Paraformer 的快速且精确的并行 Transformer，其能够通过利用一种基于连续积分和火的预测器来预测令牌数量并生成隐藏变量，并使用瞥见语言模型（GLM）实现语义嵌入，最后设计了一种策略来生成负采样以进一步提高性能。在多项实验中，Paraformer 能够以超过 10 倍的加速在公共 AISHELL-1、AISHELL-2 基准和工业级 20,000 小时任务中实现与最先进的 AR Transformer 相当的性能。

Jun, 2022

语音转文本非自回归建模的比较研究

本文对不同的无自回归（NAR）建模方法进行了比较性研究，实验证明了 NAR 模型相较自回归基线的精度降低代价下，可以同时在序列中生成多个输出，具有在实时应用中优足的潜力，在自动语音识别领域的性能差距上得到了一些有趣的发现，并展示了结合这些技术来进一步提高精度并应用于无自回归端到端语音翻译的能力。

Oct, 2021

非自回归模型词汇扩容用于高效生成式检索

该论文研究了非自回归语言模型作为生成式检索的更高效的替代方法，并提出了 PIXAR，一种扩展目标词汇的新方法，通过包括多词实体和常见短语（高达 500 万个标记）来减少标记之间的依赖性，并通过推理优化策略在保持低推理延迟的同时实现了好于标准非自回归模型 31.0% 的相对改进 (MRR@10，MS MARCO 数据集)。

Jun, 2024

注意力多层感知器用于非自回归生成

提出了一种具有线性时间和空间复杂度的新型多层感知机（AMLP）来解决非自回归生成模型中的二次复杂度问题，并通过在文本转语音合成和机器翻译任务中的实验证明，AMLP 与 NAR 模型的结合在效率上明显优于竞争模型。

Oct, 2023

神经机器翻译及其扩展中的非自回归生成调查

本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

Apr, 2022

非自回归文本生成的扩散模型：一项调查

本文系统介绍了最新的扩散模型在 NAR（非自回归）文本生成领域中的进展，重点介绍了扩散模型的核心设计、预训练语言模型的应用，以及优化技术等。该综述旨在为研究人员提供一个有关文本扩散模型的系统参考。

Mar, 2023