AAAIDec, 2020

文本生成中重复问题的理论分析

PDF
TL;DR本文提出了一个新的理论分析框架来解决文本生成过程中的重复问题，通过平均重复概率定义了这一问题，并对 Markov 生成模型进行了广泛分析。通过理论上界的分析，提出了一种新的重平衡编码方法，显著缓解了高流入问题。
text generationrepetition problemtheoretical analysisaverage repetition probabilityrebalanced encoding
发现论文，激发创造
  • 学习打破循环：分析和减少神经文本生成中的重复

    通过量化实验研究，我们发现神经语言模型生成文本中会存在连续重复句子的现象，并提出了针对该现象的训练方法 DITTO，该方法不仅可以缓解生成中的重复问题，同时还能提高生成质量。

    Jun, 2022

  • 生成适当重复词汇的重复

    本工作探索了重复生成，并提出了一种加权标签平滑方法和一种重复评分方法来输出更合适的重复，并在 T5 语言模型上进行了评估，实验结果表明我们的方法在自动和人工评估中均优于基线。

    Jul, 2022

  • 重复输入重复输出：从数据角度理解神经文本退化

    我们通过数据角度的初步研究发现，训练数据中重复出现的词语与文本退化问题之间存在强烈的相关性，通过有选择地消除训练数据中重复词语的注意力，可以显著减少退化现象，并且惩罚训练数据中的重复部分是解决退化问题的一个普遍而基本的因素。

    Oct, 2023

  • 用于研究长度偏差和退化重复的生成任务连续体

    通过引入新的实验框架，我们可以在保持所有其他方面不变的情况下，平稳地改变任务约束性，发现重复使用和长度偏差与任务约束性相关，而这些问题只是影响整个分布的模式，并且很难归因于分布熵的变化。

    Oct, 2022

  • 对话生成中的重复抑制

    本文研究基于上下文感知分类器的对话生成方法，通过对重复性的控制，提高了人工生成文本的质量和真实性。

    Dec, 2021

  • 关于非自回归翻译中的信息冗余

    在这项研究中，我们重新审视了最近提出的全非自回归翻译模型中的多模态问题，并揭示了这些先进模型引入了其他类型的信息冗余错误，无法由传统指标 - 连续重复比率来衡量。通过手动注释非自回归翻译模型的输出，我们确定了与词汇和重新排序的多模式问题相符合的两种信息冗余错误。鉴于人工注释的时间消耗和劳动强度，我们提出了自动度量标准来评估这两种冗余错误类型。我们的度量标准可以让未来的研究评估新方法，并对其有效性有一个更全面的理解。

    May, 2024

  • 通过自对比训练缓解开放性生成中对重复的学习偏差

    本文提出了一种自对比训练方法，以惩罚同一模型的早期检查点在错误预测重复时的输出，并在保持流畅性的同时有效地减轻了重复的问题，同时研究发现语言模型在预测重复令牌时使用更长的范围依赖性，可能导致句子级重复循环。

    Jul, 2023

  • 抽象神经摘要器中的自我重复性

    对神经文摘的自我重复进行定量和定性分析。分析了三种神经网络结构（BART，T5 和 Pegasus），发现 BART 特别容易出现自我重复，并且 fine-tuning 在更具抽象性的数据和在特定领域的数据上都会导致更高的自我重复率。

    Oct, 2022

  • 重复数据学习的可解释性和缩放定律

    本文研究大型语言模型中反复数据对性能的影响机理，并发现了一个强烈的双下降现象，即重复数据可能导致测试损失在训练中途上升。实验表明，反复数据对模型的性能造成了明显的损害，可能会导致模型从泛化到记忆出现转移。

    May, 2022

  • 神经抽象摘要生成中切断冗余重复历代

    本文提出了一种利用编码器中目标词汇的上限频率进行控制从而减少重复生成的 RNN 编码器 - 解码器模型，并在提取摘要任务上取得了显著的改进。

    Dec, 2016