Oct, 2023

解决神经文本退化的疑难案例

PDF
TL;DR通过理论证明截断采样方法能保证所有抽样的 Token 具有非零真实概率，同时基于模型中的 softmax 限制证明某些 Token 具有非零真实概率，我们开发了一种实验性的截断策略，并通过试验展示了其在低熵开放式文本生成中优于传统基于阈值的方法的性能，这些理论发现和试验结果推动了更具表现力的采样算法以展现大型语言模型的生成能力。
truncation samplingnucleus samplingprobability thresholdsoftmax bottlenecktext generation
发现论文，激发创造
  • 截断采样作为语言模型丢失平滑的方法

    通过混合真实分布和平滑分布的方式，该论文提出了一个改进的 top-p 或 top-k 算法来缩短神经语言模型中的文本，并介绍了一种称为 eta-sampling 的更好的算法，可以更好地生成符合人类预期的自然语言文本。

    Oct, 2022

  • 神经文本退化的好奇案例

    本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

    Apr, 2019

  • 稀疏文本生成

    本文提出使用 entmax 转换来训练和采样自然稀疏的语言模型，从而避免训练和测试之间的差异，以达到更好的性能和更接近人类文本的 n-gram 多样性，同时提出了三个度量标准来比较稀疏或截断的分布，并通过故事和对话生成等应用展示了该方法的有效性。

    Apr, 2020

  • 本地典型采样

    本文提出了一种信息论分析的方法，可用于生成自然语言，可以更好地解释概率语言生成器的行为，提出了一种名为本地典型采样的过程，并证明该过程在生成摘要和故事时可以提高质量。

    Feb, 2022

  • 通过损失截断改善自然语言生成

    本文提出了一种利用模型与参考之间的可区分性来处理无效参考的算法，称为损失截断。与常用的 log 损失相比，该方法可以更好地应对嘈杂和无效的参考，并取得了更好的实验效果，生成的样本拥有超越基线并与人类参考相匹配的事实准确性评分。

    Apr, 2020

  • 非极大化训练的神经文本生成

    提出一种基于非似然训练的神经文本生成方法，有效降低生成文本的重复性，将标准束搜索的输出性能提升至目前最优，并提供了一种强有力的替代神经文本生成中已有技术的方法。

    Aug, 2019

  • 高温下的创造力与连贯性的平衡：最小 P 采样

    提出了一种动态截断采样方法 min-$p$，通过在生成文本时根据候选词的概率来建立最小基础百分比阈值来平衡自洽性和创造力，实验表明 min-$p$ 在高温度下提高了生成文本的一致性和质量，同时与 top-$p$ 和其他采样方法相比，还能产生更具创意和多样性的文本输出。

    Jul, 2024

  • 探索采样技术在使用 Transformer 语言模型生成旋律中的应用

    本研究探讨了不同的采样技术对音乐质量的影响，训练了一个高容量的变形器模型，使用概率截断采样技术分析样本的音乐特性，在优化和非优化的情况下评估了生成的样本。

    Aug, 2023

  • 共形核取样

    本文通过使用 conformal prediction 方法对 $p$ 参数进行校准来研究 top-$p$ 采样在各种语言上下文环境下是否与其概率意义对齐，结果表明 OPT 模型存在过度自信，而校准与模型大小存在适度的反比关系。

    May, 2023

  • 自然语言生成中的多样性与质量的权衡

    将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

    Apr, 2020