通过训练两个模型来防止神经语言模型生成单一和重复的文本，从而增强多样性和信息量，实验证明这种方法的有效性。

Sep, 2023

本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

Apr, 2019

本文研究神经语言生成领域的两个问题：曝光偏差和文本退化，定量和定性分析了退化发生前的误差并探讨了它们对 GPT-2 文本退化的影响，结果表明这种文本退化有一部分原因是曝光偏差导致的，同时阐述了误差增强的自我强化机制。

Sep, 2021

通过量化实验研究，我们发现神经语言模型生成文本中会存在连续重复句子的现象，并提出了针对该现象的训练方法 DITTO，该方法不仅可以缓解生成中的重复问题，同时还能提高生成质量。

Jun, 2022

本文研究大型语言模型中反复数据对性能的影响机理，并发现了一个强烈的双下降现象，即重复数据可能导致测试损失在训练中途上升。实验表明，反复数据对模型的性能造成了明显的损害，可能会导致模型从泛化到记忆出现转移。

May, 2022

本文提出了一个新的理论分析框架来解决文本生成过程中的重复问题，通过平均重复概率定义了这一问题，并对 Markov 生成模型进行了广泛分析。通过理论上界的分析，提出了一种新的重平衡编码方法，显著缓解了高流入问题。

Dec, 2020

本文研究了神经网络训练自然语言生成任务模型时的 “表示退化问题”，提出一种新的正则化方法来解决这个问题，并在语言建模和机器翻译任务上实验验证了其性能优于基准算法。

Jul, 2019

本文提出了一种自对比训练方法，以惩罚同一模型的早期检查点在错误预测重复时的输出，并在保持流畅性的同时有效地减轻了重复的问题，同时研究发现语言模型在预测重复令牌时使用更长的范围依赖性，可能导致句子级重复循环。

Jul, 2023

通过引入新的实验框架，我们可以在保持所有其他方面不变的情况下，平稳地改变任务约束性，发现重复使用和长度偏差与任务约束性相关，而这些问题只是影响整个分布的模式，并且很难归因于分布熵的变化。

Oct, 2022

本研究通过分析语言模型在句子级别的注意力模式，发现神经退化可能与注意机制对任务特征的学习不足有关。因此，提出了一种称为‘实时注意力调节’的方法，该方法在推理过程中向注意力计算注入学习先验知识，有效地改善了语言模型生成的文本的流畅性、创造性和常识推理能力，并显著减少了句子级别的重复。

Jan, 2021