EMNLPOct, 2020

神经语言模型中动词偏置表征的研究

PDF
TL;DR通过大规模数据集 DAIS，本文研究谓语偏向性对人类习惯表述的影响，探究神经语言模型对人类偏好的表达能力，结果表明基于 transformer 架构较基于循环神经网络较佳，并具有更好的语法信息融合表达能力。
verb biasdais datasethuman preferencesneural language modelstransformer architectures
发现论文，激发创造
  • 单词和句子嵌入中的动词和论元结构转换

    通过研究基于人工神经网络编码的句子语境和词汇形态，本研究构建了五个数据集并测试了模型的可靠性，结果显示该方法对于某些动词变化是可行的，但对于其他动词变化则难以提取细粒度的字面信息。

    Nov, 2018

  • 使用人工语言检验神经语言模型的归纳偏差

    该研究提出了一种新颖的方法，使用人造语言验证语言模型的归纳偏见，并发现常用的神经架构在处理语句单词排序方面存在不同的归纳偏差。

    Jun, 2021

  • 探索 BERT 中的新动词学习：选择偏好类与基于交替的句法推广

    本文利用一种新的单词学习范式，测试并发现 BERT 在仅有一两个新词的微调后，便能够展现出稳健的语法概括能力，且在英语动词的变化过程和选词特征上表现出某些偏好行为。

    Nov, 2020

  • 多语言 BERT 有口音：评估英语对多语言模型流畅性的影响

    研究发现多语种模型中高资源语言的语法结构会渗透到低资源语言中，给跨语言模型性能带来偏差。

    Oct, 2022

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 评估语言模型中的语言推广能力：面向巴西葡萄牙语的数据集

    本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。

    May, 2023

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 句子嵌入模型中的表示偏差

    本文研究表明，SOTA 句子转换器具有强烈的从属名词集偏差，这种偏差是在词汇和语法结构预定义的条件下得出的。此外，该研究还发现，成对句子之间的余弦相似度更受其名词成分集的重叠程度影响，而对于其他更精细的句法语义成分则不那么敏感。

    Jan, 2023

  • 探索图像 - 语言变换器的动词理解

    本文研究多模态图像语言变换器的预训练表示质量，研究表明在需要谓语理解的情况下这些模型的表现不佳，通过图像 - 语句对数据集评估模型性能，分类词汇类型并找到特别具有挑战性的词汇类型。

    Jun, 2021

  • 神经网络是否可以从原始语言数据中获得结构偏见？

    通过针对不同结构相关现象的四个实验，我们评估了 BERT 在原始数据的预训练过程中是否获得了形成结构化概括的归纳偏差，并发现 BERT 在实体 - 助动词倒装，反身代词，以及嵌套从句中动词时态检测中进行了结构化概括，但在 NPI 许可证检测中进行了线性概括，这是迄今为止最有力的支持从原始数据中获取结构性偏差的人工学习器研究结果之一。

    Jul, 2020