Jun, 2023

跨语言压力使单词顺序具有统一的信息密度

PDF
TL;DR通过计算模型研究发现，信息均匀性可能对自然语言的发展和使用产生压力，并且现实语序通常比假设语序具有更大的信息均匀性。
word ordersinformation densitycomputational modelslinguisticsnatural languages
发现论文，激发创造
  • 重新审视一致信息密度假设

    本文研究了统一信息密度假说对于语言理解和语言可接受性的影响，使用阅读时间和可接受性数据，发现信息密度的不均匀性会降低可接受性，而统一信息密度假说可以部分解释语言压缩的趋势。

    Sep, 2021

  • 一种用于语言建模的认知正则化器

    使用正则化编码的 UID 假设可以作为一种归纳偏差，用于训练语言模型，这在十种涵盖了五种语言家族的语言模型实验中体现出来，使用 UID 正则化一致地提高了语言模型的困惑度，特别是在数据量有限的情况下。此外，我们发现，UID 正则化的语言模型生成的文本具有更多的词汇多样性。

    May, 2021

  • 探究文本熵速率不变性

    通过神经语言模型重新评估 Genzel 和 Charniak 在信息熵速率恒定性原则方面的主张，未能发现明确支持熵速率恒定性的证据，对一致信息密度假设和有效交流的语言学理论的影响进行了实验研究。

    May, 2023

  • 认知驱动的语言模型中的词序普遍规律

    语言的世界呈现出特定的类型学或意向性普遍现象；例如，主 - 宾 - 动 (SOV) 的语序通常使用后置词。通过语言模型的计算模拟，我们研究了语序普遍现象。我们的实验表明，具有类型学典型语序的语言模型的困惑度较低，其中包括认知可行的偏见：句法偏见、特定分析策略和记忆限制。这表明认知偏见和可预测性（困惑度）之间的相互作用可以解释语序普遍现象的许多方面。这也展示了在计算模拟语言普遍现象时的认知驱动语言模型的优势，这通常在认知建模中使用。

    Feb, 2024

  • 跨语言单词序变化反映了依赖性和信息局部性的进化压力

    通过 80 种语言的语料和系统发展模型，研究说明了单个语言中词序变化的频率分布和演化，说明词序变异反映了语言在维持总体有效性方面优化竞争压力的不同方式。研究结果表明，语法结构和使用在有限的认知资源下相互协调以支持有效沟通。

    Jun, 2022

  • 人类语言高效的信息排序

    研究了五种语言中的词序的效率和局部词汇概率，提出了语言能力的偏见来自大脑对语言的理解，促使人类语言代际传播的方式不断变化。

    Oct, 2015

  • 词序的重要性和非重要性

    通过研究语言模型的敏感度，提出语言冗余可以解释语言模型对自然语言理解任务中的词序变化不敏感的现象，即词序和其他语言线索（如格标记）提供了重叠和冗余的信息。利用互信息量化词序的信息量，结果显示当词序信息量较低时，模型对未乱序和乱序句子的预测更加一致。此外，发现该影响在不同任务中有所变化，对于某些任务（如 SST-2），语言模型的预测与原始预测几乎始终一致，尽管点互信息（PMI）发生变化，而对于其他任务（如 RTE），当 PMI 较低时，预测的一致性接近随机，即词序真正重要。

    Feb, 2024

  • 那是可选的：对英语从属从句中 “that” 省略的现代探索

    本文研究了信息密度均匀性原则对句法简化的影响，特别关注英语从属从句中连接词 “that” 的可选省略。借鉴以往研究，我们扩大了研究范围，利用现代大型语言模型和熵的概念来估计句法简化选择中信息均匀性原则的体现。

    May, 2024

  • 对话响应中的解码算法如何分配信息？

    研究人类在对话中遵循 Uniform Information Density 原则的情况下，使用 GPT-2 在 Persona-Chat 数据集上生成响应，发现解码算法促进 Uniform Information Density 并不会生成更高质量的响应，相反，鼓励非一致性响应则是解决质量退化问题的潜在解决方案。

    Mar, 2023

  • 印地文语境可预测性对词序的影响

    考察了语篇可预测性对印地语句法选择的影响，发现信息状态和 LSTM-based 语篇可预测性对非规范的宾语前置语序选择有影响。

    Oct, 2022