通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

May, 2020

本文提出了一个新的 sheaf 论述模型，用于分析语义歧义的消岐过程。研究表明，在歧义短语中，从主语到动词和从宾语到动词是两种最常见的消岐顺序，并且使用这一模型进行了测试。同时，我们发现多义词和同音异义词的消岐过程存在延迟。

Jun, 2022

本论文提出了一个基于语言学家注释的语言歧义数据集，并测试了预训练的语言模型在识别和分离歧义上的表现。结果表明，这是一个极具挑战性的任务，现有的模型正确率仅为 32％，本文挑战学术界重新认识语言歧义在自然语言处理中的重要性。同时，本文还展示了一个多标签自然语言推理模型如何帮助识别由于语言歧义而引起的虚假政治言论。

Apr, 2023

本文介绍了一种广覆盖概率自顶向下解析器的运作原理和其在语音识别中的应用。首先介绍了语言建模和概率解析的关键概念，并简要回顾了利用句法结构来进行语言建模的一些以前的方法。然后介绍了一种词汇化的概率自顶向下解析器，它在返回解析的准确性和寻找解析效率方面表现非常优异，相对于最好的广覆盖统计解析器。接着提出了一种利用概率自顶向下解析的新的语言模型，实证结果表明，它在测试语料库的困惑度上优于先前的工作。与三元模型的插值获得了异常的提高，说明我们的解析模型捕捉的信息与三元模型捕捉的信息是正交的。最后，一个小的语音识别实验也证明了该模型的实用性。

May, 2001

通过感知获得的复杂上下文信息与理解语言相辅相成。本文提出了一项新颖的基于场景的语言理解任务：在给定描绘该句子可能解释之一的视觉场景的情况下，将其消除歧义。为此，我们介绍了一个包含多义句子的新的多模态语料库，表示广泛的句法、语义和语篇歧义，并与可视化不同解释的视频相耦合。我们通过扩展决定句子是否被视频描绘的视觉模型来解决这个任务。我们演示了如何调整这样的模型以识别同一基础句子的不同解释，从而允许以统一的方式消除不同歧义类型的句子。

Mar, 2016

研究了通过利用多语言向量表示和采用源内容的分段级别翻译建立神经交叉语言篇章分析器的两种方法，并表明这两种方法即使在有限的训练数据下也有效，并且在所有子任务上实现了跨语言、文档级的篇章分析性能。

Dec, 2020

通过句子级探测、诊断案例和掩蔽预测任务的评估，我们针对相对子句测试了三种模型（BERT，RoBERTa 和 ALBERT）的语法和语义知识，在自然数据集上，探测表明三种模型确实捕获了关于语法正确性的语言知识，但对包括语义知识在内的细粒度语言知识的诊断案例和掩蔽预测任务的评估显示明显的模型特定弱点，强烈影响模型性能。因此，我们的结果突出了通过模型比较进行评估任务和建立模型性能声明及其捕获的语言知识的重要性，超越纯粹的探测评估。

Nov, 2020

本研究对比了一个新型结构探针和传统解析器，发现两种方法在不同语言上效果并存，提出了关于使用哪种技术的问题。

May, 2020

通过引入跨语言训练策略，深入分析和改进基于 Discourse Representation Structure（DRS）的语义表示分析模型，在英语、德语、意大利语和荷兰语的标准基准测试中取得了最先进的结果，并为未来的 DRS 分析研究提供了深入的见解。

Jun, 2024

本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

Oct, 2021