Mar, 2022

神经文本生成器的解码策略

PDF
TL;DR该研究对语言生成任务和解码策略之间的相互作用进行了全面分析，测量了生成文本属性随着解码策略和任务的变化情况，并使用人工和自动评估发现了之前观察到的和令人惊讶的结果，如语言生成中的多样性与质量之间的平衡是非常特定于任务的，而模式搜索方法如光束搜索在机器翻译中表现出色，但在故事生成中会导致不连贯和重复的文本。
decoding strategiesnatural language generationprobabilistic modelsdiversity-quality trade-offlength bias
发现论文，激发创造
  • 解码策略对生成文本可验证性的影响

    这篇论文探究了最新的预训练语言模型生成的文本是否符合事实世界知识，并发现了在解码策略中存在着可验证性与重复性之间的权衡，提出了一种简单而有效的解码策略，可以生成更少重复且更易验证的文本。

    Nov, 2019

  • 条件语言模型的不同解码方法比较

    调查许多分歧解码策略，在不损失质量的前提下通过过量抽样生成候选序列，并在筛选后从候选列表中生成多样化的结果。

    Jun, 2019

  • 基于 LLMs 时代的解码方法全面研究

    该研究通过全面而多方位的分析，评估了大型语言模型在各种任务、模型和部署环境下的解码方法的性能表现、对超参数变化的鲁棒性和解码速度，发现解码方法的性能与任务相关，并受到对齐、模型规模和量化等因素的影响。有趣的敏感性分析揭示了某些方法在广泛超参数调节的代价下实现了更优的性能，凸显了在不同环境中实现最优结果与实施实用性之间的权衡。

    Feb, 2024

  • 神经文本退化的好奇案例

    本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

    Apr, 2019

  • 当前的解码策略是否能够应对视觉对话的挑战？

    本文旨在探讨解码策略在视觉对话任务中的表现。通过比较不同的解码策略和超参数配置发现，目前尚未发现能同时满足单词丰富程度、任务准确性和视觉对齐要求的最佳策略，但是本文的深度分析能够提出每种策略的长处和不足，为未来的解码算法设计提供借鉴。

    Oct, 2022

  • 基于解码器为基础的语言模型的文本生成自动评估方法探索

    基于大型编码器和解码器语言模型的自动评估方法在文本生成任务中表现比调整后的编码器模型差，研究还发现解码器模型关注于表面字词序列而忽略了意义，同时发现调整后的解码器模型难以识别细粒度语义差异。

    Oct, 2023

  • 语言模型解码作为直接度量优化

    通过在语言模型中引入优化问题的框架，我们提出了一种新的解码分布，该分布通过序列级能量函数定义多个度量标准来改善与人类文本的语义一致性，实验证明我们的方法在与人类文本的度量标准一致性和人类评估方面优于强基准模型。

    Oct, 2023

  • 给定对语言生成系统的黑盒访问权限后的逆向工程解码策略

    我们通过反向工程解码方法，发现了文本生成时所使用的解码策略（例如 top-$k$ 或核心采样），这对于检测生成文本具有重要意义，并可揭示选择解码设置时造成的偏倚问题。我们对多种开源语言模型家族和生产系统（如 ChatGPT）进行了攻击。

    Sep, 2023

  • 自然语言生成中的多样性与质量的权衡

    将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

    Apr, 2020

  • 神经文本生成的对比框架

    提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。

    Feb, 2022