ACLMay, 2024

那是可选的：对英语从属从句中 “that” 省略的现代探索

PDF
TL;DR本文研究了信息密度均匀性原则对句法简化的影响，特别关注英语从属从句中连接词 “that” 的可选省略。借鉴以往研究，我们扩大了研究范围，利用现代大型语言模型和熵的概念来估计句法简化选择中信息均匀性原则的体现。
uniform information densitysyntactic reductionconnector omissionenglish subordinate clausesentropy
发现论文，激发创造
  • 重新审视一致信息密度假设

    本文研究了统一信息密度假说对于语言理解和语言可接受性的影响，使用阅读时间和可接受性数据，发现信息密度的不均匀性会降低可接受性，而统一信息密度假说可以部分解释语言压缩的趋势。

    Sep, 2021

  • 一种用于语言建模的认知正则化器

    使用正则化编码的 UID 假设可以作为一种归纳偏差，用于训练语言模型，这在十种涵盖了五种语言家族的语言模型实验中体现出来，使用 UID 正则化一致地提高了语言模型的困惑度，特别是在数据量有限的情况下。此外，我们发现，UID 正则化的语言模型生成的文本具有更多的词汇多样性。

    May, 2021

  • 跨语言压力使单词顺序具有统一的信息密度

    通过计算模型研究发现，信息均匀性可能对自然语言的发展和使用产生压力，并且现实语序通常比假设语序具有更大的信息均匀性。

    Jun, 2023

  • 探究文本熵速率不变性

    通过神经语言模型重新评估 Genzel 和 Charniak 在信息熵速率恒定性原则方面的主张，未能发现明确支持熵速率恒定性的证据，对一致信息密度假设和有效交流的语言学理论的影响进行了实验研究。

    May, 2023

  • 使用概率决策树微调细微的解析差异：以名词补语从句中的后置 “that” 与关系从句为例

    使用通用依存标注法解析英文中的相对从句和名词补语从句，并在相应的关系代词和补语从句中使用不同的标记。通过算法在 GUM Treebank 上进行语料标注，进而使用 TreeTagger 学习后置 “that” 的两种用法，并研究训练集大小对于 TreeTagger 准确性的影响，以及对于两种结构的学习是否具有代表性等语言和结构上的基本概念。

    Dec, 2022

  • GPT-who: 一种基于信息密度的机器生成文本检测器

    通过 UID 原则构建了 GPT-who 检测器，它利用 UID 特征对每个大型语言模型和人类作者的统计签名进行建模，以实现准确的作者归属。GPT-who 在四个大规模基准数据集上表现优于现有的检测器，并能够区分由非常复杂的大型语言模型生成的文本，即使上层文本无法辨别。

    Oct, 2023

  • 以 UID 作为自动作者混淆的指标

    在这篇论文中，我们通过利用统一信息密度（UID）理论，设计了三种小说的作者模糊化方法，并通过对 50 篇人工文章和 50 篇 GPT-3 生成文章进行模糊化，观察了每种方法对误导作者识别器的效果，虽然在语义保留和意义变化方面模糊化的质量较高，但我们无法找到任何证据表明 UID 是一种可行的模糊化指标。然而，由于时限限制，我们无法测试足够多的文章样本或调整我们的作者识别器参数，以对 UID 在模糊化中作出最后结论。

    Nov, 2023

  • 对话响应中的解码算法如何分配信息？

    研究人类在对话中遵循 Uniform Information Density 原则的情况下，使用 GPT-2 在 Persona-Chat 数据集上生成响应，发现解码算法促进 Uniform Information Density 并不会生成更高质量的响应，相反，鼓励非一致性响应则是解决质量退化问题的潜在解决方案。

    Mar, 2023

  • 基于语法依赖的无监督句法代换

    本文介绍了一种新的方法 SSUD，通过利用语法关系的一个属性 —— 语法替换性，不需要监督下拉金标准解析，就能诱导出语法结构，从而帮助理解大型预训练语言模型（LLMs）的句法能力，提高依赖分析任务的定量和定性效果。

    Nov, 2022

  • 从 “嗯” 到 “是的”：人类对话中的信息生成、预测和调控

    使用大型语言模型研究英语对话的大规模数据集，提供了关于非结构化对话信息密度的新估计，以及涉及检索和呈现信息的认知负荷的显著效应，同时揭示了后导评价词在调节新颖性产生中的作用。我们的研究结果为我们如何应对认知资源波动的长期理论和与他人合作应对这些需求的方式提供了新的见解。

    Mar, 2024