我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

Dec, 2021

本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

Oct, 2021

本研究研究了关于是否通过无监督的方式来学习丰富的上下文化令牌表示，从而消除了在神经网络模型中显式建模语言结构的需要，最后得出结论，即使使用 ELMo 表示，句法相关模型仍然优于无句法模型，尤其是对于领域外的数据。

Nov, 2018

该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

Mar, 2024

我们旨在解释人脑如何将单词连接起来形成句子，通过引入一种新颖的模型来建模句法表示，可能显示出所有自然语言的普遍句法结构的存在，从而提供人类大脑中语言工作方式的基本理解，同时为语言学、心理学和认知科学的理论提供一些见解。我们研究了普遍句法结构的逻辑和建模技术的方法论，试图分析展示不同自然语言（如英语和韩语）中语言过程的普遍性的语料库。最后，我们讨论了关于人类大脑理解方面的关键周期假说、普遍语法以及其他一些语言断言。

Dec, 2023

本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

Apr, 2020

研究最近聚焦于神经语言模型的成功因素，测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力，本论文重现了最近论文的实验结果，显示了以字符串为基础的句法诱导训练的基本问题。

Apr, 2020

本文介绍了一种新的方法 SSUD，通过利用语法关系的一个属性 —— 语法替换性，不需要监督下拉金标准解析，就能诱导出语法结构，从而帮助理解大型预训练语言模型（LLMs）的句法能力，提高依赖分析任务的定量和定性效果。

Nov, 2022

本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。

Jan, 2021