EMNLPFeb, 2020

一种基于未完成解码的循环语言模型的一致性

PDF
TL;DR研究了递归语言模型收到无限长度序列的相关问题，提出了一种自行终止的递归语言模型和两种解决一般解码算法不一致问题的方法。
neural sequence modelsmaximum likelihooddecoding algorithmsinfinite-length sequencesself-terminating recurrent language model
发现论文，激发创造
  • 非单调自终止语言模型

    本文研究大规模神经自回归序列模型的生成算法在 greedy search、beam search、top-k sampling 和 nucleus sampling 的情况下呈现的非终止、重复和过早中止等退化属性，提出了一个非单调自动终止语言模型，该模型通过放宽自动终止概率单调递增的限制来解决该问题，并证明了该模型不仅能防止非终止序列，而且还能在采用 beam search 等其他算法时使用。

    Oct, 2022

  • 条件语言模型的不同解码方法比较

    调查许多分歧解码策略，在不损失质量的前提下通过过量抽样生成候选序列，并在筛选后从候选列表中生成多样化的结果。

    Jun, 2019

  • 用于研究长度偏差和退化重复的生成任务连续体

    通过引入新的实验框架，我们可以在保持所有其他方面不变的情况下，平稳地改变任务约束性，发现重复使用和长度偏差与任务约束性相关，而这些问题只是影响整个分布的模式，并且很难归因于分布熵的变化。

    Oct, 2022

  • 语言模型解码作为直接度量优化

    通过在语言模型中引入优化问题的框架，我们提出了一种新的解码分布，该分布通过序列级能量函数定义多个度量标准来改善与人类文本的语义一致性，实验证明我们的方法在与人类文本的度量标准一致性和人类评估方面优于强基准模型。

    Oct, 2023

  • 自然语言生成中的多样性与质量的权衡

    将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

    Apr, 2020

  • 基于噪声并行的条件循环语言模型近似解码

    本文主要探究了条件循环语言建模方面的一些进展和应用，提出了一个新的非常并行化的解码策略，并在诸如注意力机制和深度神经网络的领域进行了广泛的评估。

    May, 2016

  • 通过自对比训练缓解开放性生成中对重复的学习偏差

    本文提出了一种自对比训练方法，以惩罚同一模型的早期检查点在错误预测重复时的输出，并在保持流畅性的同时有效地减轻了重复的问题，同时研究发现语言模型在预测重复令牌时使用更长的范围依赖性，可能导致句子级重复循环。

    Jul, 2023

  • 动量解码：以图探索为基础的开放式文本生成

    本文提出一种新的解码方法 —— 动量解码，将生成开放式文本视为有向图中的探索过程，同时鼓励语言模型在当前图之外贪心地探索新节点，并允许其通过预定义的抵抗函数降低动量回到现有节点，本方法在三个基准测试中表现出与现有技术相当的性能，且具有明显提高的推理速度和计算 FLOPs。

    Dec, 2022

  • 神经文本退化的好奇案例

    本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

    Apr, 2019

  • 从解码到元生成：大型语言模型的推理时间算法

    通过对大型语言模型的研究，发现在训练过程中提高计算能力可以取得更好的结果，然而对于推断阶段提高计算能力的好处却没有得到足够的关注。本文调查了推断阶段的几种方法，包括基于令牌级别的生成算法、元生成算法和高效生成方法，并从传统自然语言处理、现代大型语言模型和机器学习系统的角度统一了观点。

    Jun, 2024