神经语言模型中的成分结构探测
研究基于序列的神经网络与基于树的网络在句法任务上的表现，并比较常见的句法表示方法对句法结构带来的影响，同时发现基于组成结构的网络更具鲁棒性，通过少量构建的数据 fine-tune 可以显着提高序列模型的性能，表明数据增强是为序列模型注入句法偏置的可行替代方案。
Apr, 2020
我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。
Sep, 2023
研究了现代和经典的组成分析方法的差异，以及神经网络在此领域的应用。高性能的神经模型代表了最新的工作，实验发现该模型隐式编码了过去语法和词汇表明确提供的信息，暗示这种支撑可以被强大的通用神经机制取代。
Apr, 2018
本文从语法分析的角度出发，通过探索不同的句法分析方法和语法特征对大脑语言网络的影响，以及与语义信息的关系，研究了其对大脑活动的预测能力，发现不同的语法分析方法在大脑不同区域的编码效果不同，而语法信息和语义信息的结合能够更好地预测大脑活动。
Feb, 2023
本文通过探究无监督条件下对成分结构的学习，提出了使用一种技术从堆叠循环神经网络的推送行为中提取句法树，证明堆叠循环神经网络确实推断出了具有语言学相关的层次结构。
Jun, 2019
介绍了一种利用预训练语言模型提取短语结构树的方法，并发现预训练语言模型在正确划分句子中的副词短语方面表现优异，从而有助于进一步理解预训练语言模型的内部机制。
Jan, 2020