本文提出了一种信息论分析的方法，可用于生成自然语言，可以更好地解释概率语言生成器的行为，提出了一种名为本地典型采样的过程，并证明该过程在生成摘要和故事时可以提高质量。

Feb, 2022

本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

Apr, 2019

本论文提出，当语言生成模型用于文本完成，故事生成或对话建模等开放性文本生成问题时，最先进的语言生成模型可能会退化。我们发现近似平坦熵带内的生成更为 “人类化”，而模型违反熵的这些限制通常会导致退化。因此，我们提出了一种基于熵的解码算法，以生成更具语境感和 “人类化” 的文本。

Feb, 2023

我们提出了一个替代方法来量化语言模型学习自然语言的程度：我们询问它们多大程度上与自然语言的统计倾向相匹配。通过分析语言模型生成的文本是否呈现出它们所训练的人类生成文本中存在的统计倾向，提供了一个与显著性测试配对的框架来评估语言模型的拟合程度。我们发现神经语言模型似乎只学会了一部分被考虑的倾向，但与经验性趋势相比，更接近所提出的理论分布（当存在时）。此外，对不同分布的拟合程度高度依赖于模型架构和生成策略。作为具体例子，使用 Nucleus sampling 方式生成的文本比使用标准祖先抽样生成的文本更紧密地遵循自然语言的类型 - 标记关系；LSTMs 生成的文本也非常好地反映了自然语言的长度、停用词和符号分布。

May, 2021

我们提出了一种方法，可以确定给定文章是完全由生成式语言模型编写还是在不同作者（可能是人类）的情况下经过了一些重大编辑。我们的方法涉及多个感到困惑的测试来判断单个句子或其他文本单元的来源，并使用 Higher Criticism 方法结合这些多个测试。该方法通过接近对数困惑度与交叉熵率的收敛以及针对编辑文本的统计模型，表明大部分句子都是由语言模型生成的，但也可能有一些句子是通过不同的机制产生的。我们通过使用真实数据展示了我们方法的有效性，并分析了影响其成功的因素。这项分析提出了一些有趣的未解决问题，解决这些问题可能会提高该方法的效果。

Aug, 2023

本文利用计算语用学中的技术，将语言生成模型的建模过程形式化为说话者和听者之间的游戏，通过两种语用建模方法，即保留信息和建模干扰项，来提高抽象概括和结构化含义表述的生成系统的性能。

Apr, 2019

提出一种基于非似然训练的神经文本生成方法，有效降低生成文本的重复性，将标准束搜索的输出性能提升至目前最优，并提供了一种强有力的替代神经文本生成中已有技术的方法。

Aug, 2019

我们发现，LSTM 和 Transformer 语言模型系统地低估了来自目标语言的序列的概率，并且对于不太可能出现的序列更为严重，尽管使用更多的训练数据减轻了这种倾向，但这种低估行为还是存在，并且在目标分布熵较低时加剧了这种情况，并且找到了导致这种概率差距的原因在于语言模型往往会高估不规范序列的概率。

Mar, 2022

本文提出了一种基于理性意义构建的计算框架来实现语言驱动的思维，将语言和概率性推理的概率语言模型结合以构建适应上下文的符号推理模型，同时开发了统一的通用推理接口以实现全面的常识推理。

Jun, 2023

使用 Reinforcement Learning through Human Feedback (RLHF) 与 probability-quality relationship 方法，我们研究了语言模型对文字生成系统的影响，并提出了适应模型选择的采样适配器。

Jun, 2024