Jan, 2022

实验测量及物从句中语法提示的冗余度

PDF
TL;DR通过行为实验和跨语言计算分析，我们研究了自然语言中语法提示的冗余性，并发现仅有最多 10-15％的自然发生的句子需要语法提示来表达代理性和病因性，但它们在提供重要的冗余来源方面至关重要，特别是在描述人际交往、表达非典型意义以及区分可逆角色时。此外，我们使用神经网络模型对名词在主谓宾三元组中的不同作用进行了预测，并在 30 种不同的语言中获得了一致高的准确率。
grammatical cuesredundancynatural languageneural networkword order
发现论文，激发创造
  • BERT 在分类语法角色时不考虑单词顺序… 除非它很重要

    通过探究自然语言处理模型中英语 BERT 和 GPT-2 语法角色的表示，发现其后期层次的单词聚类受到词序关系的影响，特别是在某些非典型语境下，词序知识对于正确的分类具有重要的作用，这突出了模型在非常规但至关重要的时刻如何使用上下文。

    Mar, 2022

  • 词频不预测语言模型的语法知识

    本研究研究了神经语言模型的准确度，并发现特定名词在主谓一致和反身指代方面的准确度表现更好，并发现语料库频率与名词在语法任务中的表现无关，最后发现可以从各种类型的训练数据中学习新名词的语法性质。这些结果呈现了一个悖论：语法表现应该比实际观察到的表现更少变化。

    Oct, 2020

  • 交叉依存的稀缺性：特定约束的直接结果？

    在研究中，通过建立句子结构网络，基于句法依存关系，证明自然语言中交叉依存关系的罕见性并非由于独立或特定的限制条件，而是由于依存长度最小化原则产生的副作用。同时，通过简单的预测模型，对横跨句法依存关系的概率进行了估计。

    Jan, 2016

  • 句法依赖距离的优化性

    通过空间网络将句子中单词的语法依赖关系表示为优化问题，引入新的评分方法来量化减少单词距离的认知压力，研究 93 种语言的句子，发现这种方法能准确评估大约一半的语言的优化水平，并对各个领域的语言研究提供了启示，特别是对网络科学有重要意义。

    Jul, 2020

  • 控制的好奇案例

    大规模生成语言模型的输出结果与语义启发式算法一致，但其中最大的一组模型在主语控制方面表现优异，而在宾语控制方面则表现不佳；通过使用代理 - 患者信息，可以显著地改变大多数模型的输出结果，我们进一步利用语义原型角色注释探讨了控制与事件参与者标签属性之间的联系。

    May, 2022

  • GPT-2 中的隐性因果关系：案例研究

    本文研究 GPT-2 语言模型在完成句子任务时对本土语音者的暗示因果直觉掌握程度，验证了早期的结果并研究了性别、动词词频对模型表现的影响，并开发了避免模型生成的非正常语言影响人工评判的方法学。

    Dec, 2022

  • 克服语言引导目标条件强化学习中的指代歧义

    通过运用认知科学中的教学法和实用主义解决自然语言中的指称歧义，提高了机器人学习者在模拟机器人任务（堆叠）中的样本效率。

    Sep, 2022

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 使用合成自然语言变体研究 RNN 的归纳偏置

    研究了神经序列模型通过 typological properties 如词序和形态格标示来获取一种语言的语法的能力，针对这种种类繁多的语法特征和训练语料之间的复杂交互，作者使用了从英文中生成一些与英文在一个或多个语言学特性上不同的合成语言来避免影响，研究表明诸如 SVO 词序、多个格标示等特性可以有效提高合成语言的一致性效果。

    Mar, 2019

  • 神经语言模型中语法一致机制的因果分析

    通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

    Jun, 2021