关键词uniform information density
搜索结果 - 5
- ACL那是可选的：对英语从属从句中 “that” 省略的现代探索
本文研究了信息密度均匀性原则对句法简化的影响，特别关注英语从属从句中连接词 “that” 的可选省略。借鉴以往研究，我们扩大了研究范围，利用现代大型语言模型和熵的概念来估计句法简化选择中信息均匀性原则的体现。
- 探究文本熵速率不变性
通过神经语言模型重新评估 Genzel 和 Charniak 在信息熵速率恒定性原则方面的主张，未能发现明确支持熵速率恒定性的证据，对一致信息密度假设和有效交流的语言学理论的影响进行了实验研究。
- 对话响应中的解码算法如何分配信息？
研究人类在对话中遵循 Uniform Information Density 原则的情况下，使用 GPT-2 在 Persona-Chat 数据集上生成响应，发现解码算法促进 Uniform Information Density 并不会生 - 重新审视一致信息密度假设
本文研究了统一信息密度假说对于语言理解和语言可接受性的影响，使用阅读时间和可接受性数据，发现信息密度的不均匀性会降低可接受性，而统一信息密度假说可以部分解释语言压缩的趋势。
- ACL一种用于语言建模的认知正则化器
使用正则化编码的 UID 假设可以作为一种归纳偏差，用于训练语言模型，这在十种涵盖了五种语言家族的语言模型实验中体现出来，使用 UID 正则化一致地提高了语言模型的困惑度，特别是在数据量有限的情况下。此外，我们发现，UID 正则化的语言模型