本文研究了人工神经网络在判断句子是否符合语法上的能力，介绍了语言可接受性语料库（CoLA）以及通过该库测试了神经网络模型在接受度分类任务上的性能，结果发现其表现超过了 Lau 等人的无监督模型，但在许多语法结构方面，所有测试的模型都远低于人类的水平。

May, 2018

综述了机器学习和符号方法在自然语言处理中的缺点和优势以及其通过混合方法的桥梁作用，讨论了混合方法在需要自然语言理解、生成和推理的广泛领域的最新研究，同时探讨了现有资源和面临的挑战，并提出了未来方向的路线图。

Jan, 2024

深度学习在自然语言处理 (NLP) 任务中取得了显著进展，本研究提出了一种神经符号学习方法，将符号主义和连接主义两种人工智能学派相结合，通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。

Sep, 2023

提出了一种新的文本分类和排序框架，该框架可以自动化地识别政治辩论和演讲文本中值得核查的句子，这种框架结合了句子的语义分析和通过句子中已识别的实体获得的额外实体嵌入，使用五种不同的语言模型、六种不同的知识图谱嵌入模型以及两种组合方法实例化，然后进行了广泛的评估，结果显示神经语言模型明显优于传统的 TF.IDF 和 LSTM 方法，其中 ALBERT 模型始终是所有测试的神经语言模型中最有效的模型，实体嵌入与知识图谱嵌入一起使用明显优于现有基于句子实体之间相似性和相关性分数的文献方法。

Nov, 2022

通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

May, 2020

通过改变自然图像的句法（例如交换一个脸部的眼睛和鼻子）来调查深度神经网络对此类句法异常的敏感性，并提出了一个三阶段框架来实现深度神经网络的视觉句法理解。通过使用类似于 BERT 的图像掩蔽自编码器进行训练，我们在 CelebA 和 AFHQ 数据集上进行实验证明了方法的广义性能。

Jan, 2024

该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

Aug, 2018

回顾了和人脑活动相关的人工语言模型研究，发现人工神经网络中单词意义的神经表征与其使用的密集词向量高度吻合，并且人工神经网络内部的处理层次与人脑有相似之处，但是依据研究的不同而有所不同。因此，建立人工神经网络作为自然语言理解过程模型的当前挑战之一是利用其高度结构化的表征几何来映射表征到脑数据。

Jan, 2023

本文介绍了一种结构化语言模型，该模型将符号概率模型和神经网络相结合，以提高文本分类性能，并能够在自我监督的方式下学习预测组合树，仅需要原始文本和句级标签作为训练数据，从而具有一定的自我解释性。实验结果表明，本方法在下游任务中能够取得良好的预测准确性，同时预测的跨度标签与人类的推理有一定的一致性。

Mar, 2023

研究最近聚焦于神经语言模型的成功因素，测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力，本论文重现了最近论文的实验结果，显示了以字符串为基础的句法诱导训练的基本问题。

Apr, 2020