动量解码：以图探索为基础的开放式文本生成

Dec, 2022

动量解码：以图探索为基础的开放式文本生成

Momentum Decoding: Open-ended Text Generation As Graph Exploration

Tian Lan, Yixuan Su, Shuhang Liu, Heyan Huang, Xian-Ling Mao

TL;DR本文提出一种新的解码方法 —— 动量解码，将生成开放式文本视为有向图中的探索过程，同时鼓励语言模型在当前图之外贪心地探索新节点，并允许其通过预定义的抵抗函数降低动量回到现有节点，本方法在三个基准测试中表现出与现有技术相当的性能，且具有明显提高的推理速度和计算 FLOPs。

Abstract

Open-ended text generation with autoregressive language models (LMs) is one of the core tasks in natural language processing. However, maximization-based decoding methods (e.g., greedy/beam search) often lead to the degeneration problem, i.e., the generated text is unnatural and contai

autoregressive language models degeneration problem momentum decoding directed graph inference speed

发现论文，激发创造

通过自适应解码改善开放式文本生成

当前语言模型以概率分布逐词解码文本，本研究引入了自适应解码机制，使语言模型能够在生成过程中动态地确定合理的候选集。实验结果显示我们的方法在故事生成任务中实现了更高的 MAUVE 和多样性，同时保持了一定的连贯性，凸现了其优越性。

Feb, 2024

开放式文本生成的回溯解码

本文提出了一种改进的解码算法 Look-back，利用 Kullback-Leibler 散度来跟踪当前和历史解码步骤之间的分布距离，能够自动预测潜在的重复短语和主题漂移，并移除可能导致故障的标记，从而生成更流畅和连贯的文本，并在文档连续性和故事生成上取得了优异性能。

May, 2023

大型语言模型中的加速生成技术综述

这篇论文综述了大型语言模型中加速文本生成的关键技术，包括推测解码、提前退出机制和非自回归方法，并对它们的原理、优势、限制和最新进展进行了讨论，旨在为自然语言处理领域的未来研究方向提供指导。

May, 2024

使用格点进行大规模文本生成的解码

本研究提出了一种搜索算法，采用重构解码作为最佳优先搜索，并重新考虑了假设重组的想法，通过在搜索期间识别并合并相似的文本生成候选项，构建了许多多样化的文本生成选项，并在文本摘要和机器翻译上表现出很好的效果。

Dec, 2021

语言模型解码作为直接度量优化

通过在语言模型中引入优化问题的框架，我们提出了一种新的解码分布，该分布通过序列级能量函数定义多个度量标准来改善与人类文本的语义一致性，实验证明我们的方法在与人类文本的度量标准一致性和人类评估方面优于强基准模型。

Oct, 2023

思考性解码：利用现成语言模型实现双向生成

本文提出了一种名为 “Reflective Decoding” 的新型无监督算法，可将单向的语言模型应用于非顺序生成任务，如释义和文本填充。实验证明，相较于基线方法，该算法在多个指标上表现更优秀，甚至超越了多个基于监督学习的基线模型。

Oct, 2020

从解码到元生成：大型语言模型的推理时间算法

通过对大型语言模型的研究，发现在训练过程中提高计算能力可以取得更好的结果，然而对于推断阶段提高计算能力的好处却没有得到足够的关注。本文调查了推断阶段的几种方法，包括基于令牌级别的生成算法、元生成算法和高效生成方法，并从传统自然语言处理、现代大型语言模型和机器学习系统的角度统一了观点。

Jun, 2024

带有 Gumbel-Greedy 解码的神经机器翻译

本文提出了一种使用 Gumbel-Greedy Decoding 训练生成网络来预测翻译的方法，该方法使用 Gumbel-Softmax 重新参数化来实现对离散单词序列的可微分训练，实验证明其有效性。

Jun, 2017

文本生成的动量校准

本文提出 MoCa (动量校准) 方法解决文本生成任务中的曝光偏差问题，通过动量滑动平均产生缓慢演化的样本生成器，与实际样本质量对齐，实验表明在 CNN/DailyMail 和 SAMSum 数据集上实现了最优结果。

Dec, 2022

基于灵活语法约束解码的语言模型

本论文研究了 LLMs 在信息提取等任务中生成复杂输出结构的问题，提出了一种基于形式语法约束的解码方法，通过合理的限制保证生成的符号序列能够具有语法正确性，同时在大型符号集信息提取和实体消歧方面取得了良好的效果，结果表明在缺乏训练数据、后调较为昂贵的场景下，采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。

May, 2023