使用正则化编码的 UID 假设可以作为一种归纳偏差，用于训练语言模型，这在十种涵盖了五种语言家族的语言模型实验中体现出来，使用 UID 正则化一致地提高了语言模型的困惑度，特别是在数据量有限的情况下。此外，我们发现，UID 正则化的语言模型生成的文本具有更多的词汇多样性。

May, 2021

通过神经语言模型重新评估 Genzel 和 Charniak 在信息熵速率恒定性原则方面的主张，未能发现明确支持熵速率恒定性的证据，对一致信息密度假设和有效交流的语言学理论的影响进行了实验研究。

May, 2023

通过计算模型研究发现，信息均匀性可能对自然语言的发展和使用产生压力，并且现实语序通常比假设语序具有更大的信息均匀性。

Jun, 2023

研究人类在对话中遵循 Uniform Information Density 原则的情况下，使用 GPT-2 在 Persona-Chat 数据集上生成响应，发现解码算法促进 Uniform Information Density 并不会生成更高质量的响应，相反，鼓励非一致性响应则是解决质量退化问题的潜在解决方案。

Mar, 2023

本文研究了信息密度均匀性原则对句法简化的影响，特别关注英语从属从句中连接词 “that” 的可选省略。借鉴以往研究，我们扩大了研究范围，利用现代大型语言模型和熵的概念来估计句法简化选择中信息均匀性原则的体现。

May, 2024

在这篇论文中，我们通过利用统一信息密度（UID）理论，设计了三种小说的作者模糊化方法，并通过对 50 篇人工文章和 50 篇 GPT-3 生成文章进行模糊化，观察了每种方法对误导作者识别器的效果，虽然在语义保留和意义变化方面模糊化的质量较高，但我们无法找到任何证据表明 UID 是一种可行的模糊化指标。然而，由于时限限制，我们无法测试足够多的文章样本或调整我们的作者识别器参数，以对 UID 在模糊化中作出最后结论。

Nov, 2023

通过 UID 原则构建了 GPT-who 检测器，它利用 UID 特征对每个大型语言模型和人类作者的统计签名进行建模，以实现准确的作者归属。GPT-who 在四个大规模基准数据集上表现优于现有的检测器，并能够区分由非常复杂的大型语言模型生成的文本，即使上层文本无法辨别。

Oct, 2023

我们提出了四项用于估计长文档信息密度的标准，包括惊讶度、熵、均匀信息密度和词汇密度，并提出了一种基于注意力的临床笔记词语选择方法和多领域文档的机器摘要方法。实证结果表明不同领域的长文本信息密度存在系统差异，基于注意力的词语选择方法对于长临床笔记的自动医学编码具有有效性。

Sep, 2023

我们介绍一种度量信息价值的方法，使用神经文本生成器获取可解释的信息价值估计，并利用其心理测量预测能力来研究驱动人类理解行为的可预测性维度。信息价值比词元级惊异度的汇总更好地预测书面和口头对话中的话语可接受性，并且对预测通过眼动阅读时间衡量的能力是互补的。

Oct, 2023

该研究探讨了沟通成本、信道容量、惊奇度、词长度和 Zipf 假说之间的关系，并通过实验证明，词频比其他两个假设更好地预测了词的长度。

Dec, 2023