ICLROct, 2022

非单调自终止语言模型

PDF
TL;DR本文研究大规模神经自回归序列模型的生成算法在 greedy search、beam search、top-k sampling 和 nucleus sampling 的情况下呈现的非终止、重复和过早中止等退化属性，提出了一个非单调自动终止语言模型，该模型通过放宽自动终止概率单调递增的限制来解决该问题，并证明了该模型不仅能防止非终止序列，而且还能在采用 beam search 等其他算法时使用。
neural autoregressive sequence modelsdecoding algorithmsnon-terminating sequencesself-terminating language modelsequence completion tasks
发现论文，激发创造
  • 一种基于未完成解码的循环语言模型的一致性

    研究了递归语言模型收到无限长度序列的相关问题，提出了一种自行终止的递归语言模型和两种解决一般解码算法不一致问题的方法。

    Feb, 2020

  • 动量解码：以图探索为基础的开放式文本生成

    本文提出一种新的解码方法 —— 动量解码，将生成开放式文本视为有向图中的探索过程，同时鼓励语言模型在当前图之外贪心地探索新节点，并允许其通过预定义的抵抗函数降低动量回到现有节点，本方法在三个基准测试中表现出与现有技术相当的性能，且具有明显提高的推理速度和计算 FLOPs。

    Dec, 2022

  • 稳定熵假设和熵感知解码：鲁棒自然语言生成的分析与算法

    本论文提出，当语言生成模型用于文本完成，故事生成或对话建模等开放性文本生成问题时，最先进的语言生成模型可能会退化。我们发现近似平坦熵带内的生成更为 “人类化”，而模型违反熵的这些限制通常会导致退化。因此，我们提出了一种基于熵的解码算法，以生成更具语境感和 “人类化” 的文本。

    Feb, 2023

  • 序列生成的通用框架及其在无向序列模型中的应用

    提出使用序列生成的方法来解决从无向神经序列模型（如 BERT）中生成序列的问题，并将其与定向的序列模型进行统一，从而能够使用原来专门为定向序列模型开发的解码算法在无向序列模型中进行机器翻译。在 WMT'14 英德翻译任务上，提出的方法取得了类似于线性时间翻译结果的恒定时间结果，并且与最先进的方法相媲美。

    May, 2019

  • 通过迭代改善的方法进行非自回归神经序列建模

    提出一种基于迭代改善的有条件非自回归神经序列模型，结合了潜变量模型和自编码器的原则，可以广泛应用于任何序列生成任务。该模型经过在机器翻译（En-De 和 En-Ro）以及图像字幕生成方面的广泛评估，观察到它显著加快解码速度，并保持与自回归形式相当的生成质量。

    Feb, 2018

  • 非单调序列文本生成

    本文使用递归二叉树模型，提出了一种用于生成文本的框架，能够训练模型采用非单调生成方式，模型能够直接学习适宜的生成次序，且不需要额外的标注。文章利用模拟学习的方法，从模仿 Oracle 到加强自己的喜好，达到了无需预定生成顺序的文字生成，同时达到了与传统的从左到右生成相当的性能。

    Feb, 2019

  • 大型语言模型中的加速生成技术综述

    这篇论文综述了大型语言模型中加速文本生成的关键技术，包括推测解码、提前退出机制和非自回归方法，并对它们的原理、优势、限制和最新进展进行了讨论，旨在为自然语言处理领域的未来研究方向提供指导。

    May, 2024

  • 基于噪声并行的条件循环语言模型近似解码

    本文主要探究了条件循环语言建模方面的一些进展和应用，提出了一个新的非常并行化的解码策略，并在诸如注意力机制和深度神经网络的领域进行了广泛的评估。

    May, 2016

  • 非自回归序列到序列视觉语言模型

    通过多路推断并使用 Query-CTC 损失函数训练的并行解码序列到序列视觉 - 语言模型（NARVL），不再限制为条件分布，能够建模多个推断路径的联合分布，从而在推断时减少了线性复杂度与顺序生成的常态联合推断模式相比达到了与最先进自回归模型相当的性能提升，并且速度更快。

    Mar, 2024

  • 带有 Gumbel-Greedy 解码的神经机器翻译

    本文提出了一种使用 Gumbel-Greedy Decoding 训练生成网络来预测翻译的方法，该方法使用 Gumbel-Softmax 重新参数化来实现对离散单词序列的可微分训练，实验证明其有效性。

    Jun, 2017