本文研究基于上下文感知分类器的对话生成方法，通过对重复性的控制，提高了人工生成文本的质量和真实性。

Dec, 2021

调研表明，语言模型在对话生成中重复具有关键作用，并且关联着词汇重用的处理机制，加强这方面的研究有助于开发认知启发式的对话生成系统。

Nov, 2023

本文提出了一个新的理论分析框架来解决文本生成过程中的重复问题，通过平均重复概率定义了这一问题，并对 Markov 生成模型进行了广泛分析。通过理论上界的分析，提出了一种新的重平衡编码方法，显著缓解了高流入问题。

Dec, 2020

对神经文摘的自我重复进行定量和定性分析。分析了三种神经网络结构（BART，T5 和 Pegasus），发现 BART 特别容易出现自我重复，并且 fine-tuning 在更具抽象性的数据和在特定领域的数据上都会导致更高的自我重复率。

Oct, 2022

通过量化实验研究，我们发现神经语言模型生成文本中会存在连续重复句子的现象，并提出了针对该现象的训练方法 DITTO，该方法不仅可以缓解生成中的重复问题，同时还能提高生成质量。

Jun, 2022

本研究旨在探究英语开放领域口语对话中词汇构造的重复现象及其对语言信息负荷的缓解效果，结合神经语言模型的信息内容定量分析结果表明，重复使用构造能够降低话语信息含量，特别是在频率和密度较高、涉及指称构造的情况下效果更佳。

Oct, 2022

本文提出了一种自对比训练方法，以惩罚同一模型的早期检查点在错误预测重复时的输出，并在保持流畅性的同时有效地减轻了重复的问题，同时研究发现语言模型在预测重复令牌时使用更长的范围依赖性，可能导致句子级重复循环。

Jul, 2023

我们通过数据角度的初步研究发现，训练数据中重复出现的词语与文本退化问题之间存在强烈的相关性，通过有选择地消除训练数据中重复词语的注意力，可以显著减少退化现象，并且惩罚训练数据中的重复部分是解决退化问题的一个普遍而基本的因素。

Oct, 2023

本文研究大型语言模型中反复数据对性能的影响机理，并发现了一个强烈的双下降现象，即重复数据可能导致测试损失在训练中途上升。实验表明，反复数据对模型的性能造成了明显的损害，可能会导致模型从泛化到记忆出现转移。

May, 2022

本论文提出一种结合精准和非精准重复抑制技术的自然语言生成方法，使用 token 和序列级别的不可能度量进行训练，推理和后处理，从而控制 LLM 的重复和内容质量。经过实验验证，该方法能够有效地抑制重复和确保内容质量。

Apr, 2023