Feb, 2024

认知驱动的语言模型中的词序普遍规律

PDF
TL;DR语言的世界呈现出特定的类型学或意向性普遍现象；例如，主 - 宾 - 动 (SOV) 的语序通常使用后置词。通过语言模型的计算模拟，我们研究了语序普遍现象。我们的实验表明，具有类型学典型语序的语言模型的困惑度较低，其中包括认知可行的偏见：句法偏见、特定分析策略和记忆限制。这表明认知偏见和可预测性（困惑度）之间的相互作用可以解释语序普遍现象的许多方面。这也展示了在计算模拟语言普遍现象时的认知驱动语言模型的优势，这通常在认知建模中使用。
typological universalsword ordercomputational simulationcognitive biasesperplexity
发现论文，激发创造
  • 跨语言单词序变化反映了依赖性和信息局部性的进化压力

    通过 80 种语言的语料和系统发展模型，研究说明了单个语言中词序变化的频率分布和演化，说明词序变异反映了语言在维持总体有效性方面优化竞争压力的不同方式。研究结果表明，语法结构和使用在有限的认知资源下相互协调以支持有效沟通。

    Jun, 2022

  • 探索类型学知识库中的概率推论

    本文介绍了一种使用计算模型发现语言基础规律的方法，其表现优于以往的基线模型，成功识别了已知的 Greenberg 大一统规律，同时还发现了有待进一步研究的新规律。

    Jun, 2019

  • 广义最优线性排序

    本文探讨了语言处理中的单词顺序问题，并提出了基于语言学、心理语言学、计算语言学和自然语言处理的理论模型。进一步，为了优化处理单词最小化相关性，提出一种新的单词顺序，重点关注远距离依赖的人类和计算语言处理困难。最后探讨这些单词顺序对于人类语言和计算模型的影响。

    Aug, 2021

  • 词序与世界知识

    研究通过语言模型从原始文本中诱导世界知识时，词序对其的影响，使用词类比来探究这种知识。从五种语言分别提取六种固定词序的文本，对这些文本进行预训练。最终，分析了固定词序在词类比任务上的实验结果，发现某些特定的固定词序始终优于或不如其他词序，并且这些具体情况因语言而异。另外，发现 Wov2Lex 假设在预训练语言模型中不成立，而自然的词序通常导致中等水平的结果。源代码将在以下网址公开。

    Mar, 2024

  • 跨语言压力使单词顺序具有统一的信息密度

    通过计算模型研究发现，信息均匀性可能对自然语言的发展和使用产生压力，并且现实语序通常比假设语序具有更大的信息均匀性。

    Jun, 2023

  • 人类语言高效的信息排序

    研究了五种语言中的词序的效率和局部词汇概率，提出了语言能力的偏见来自大脑对语言的理解，促使人类语言代际传播的方式不断变化。

    Oct, 2015

  • 词序的重要性和非重要性

    通过研究语言模型的敏感度，提出语言冗余可以解释语言模型对自然语言理解任务中的词序变化不敏感的现象，即词序和其他语言线索（如格标记）提供了重叠和冗余的信息。利用互信息量化词序的信息量，结果显示当词序信息量较低时，模型对未乱序和乱序句子的预测更加一致。此外，发现该影响在不同任务中有所变化，对于某些任务（如 SST-2），语言模型的预测与原始预测几乎始终一致，尽管点互信息（PMI）发生变化，而对于其他任务（如 RTE），当 PMI 较低时，预测的一致性接近随机，即词序真正重要。

    Feb, 2024

  • 语言模型作为词序假说的备选评估器：以日语为例的案例研究

    本文介绍了一种使用神经语言模型 (LMs) 分析语言词序的方法，以日本语作为案例研究，通过实验，初步得出神经语言模型具有足够的词序知识用于分析工具，并利用该方法，显示了规范词序与主题化之间的关系。

    May, 2020

  • 通信促进神经智能体中语言普遍性的出现：来自单词顺序 / 格标记折衷的证据

    提出了一个新的神经智能代理语言学习和通讯框架 (NeLLCom)，通过监督学习和强化学习来优化在自然语言学习和使用情况下语言学习的结果，成功实现了无任何学习偏见的代理之间单词顺序 / 格标记权衡的复制，这被视为深度研究语言普遍规律的重要一步。

    Jan, 2023

  • 多语言 BERT 中的语序类型学：以从属从句检测为例的案例研究

    通过比较 BERT 模型在跨语言子句检测任务中的性能展示，它对于在不同语言中学习句法抽象的能力和限制，同时显示出该任务的简单部分容易获得成功，但更难的部分需要更多时间。此外，该任务的性能主要受词序效应的支配，与 SVO/VSO/SOV 类别相似。

    May, 2022