基于本地引导语义结构的语言建模的经验充分下限
利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。
Apr, 2021
该研究探讨了使用潜在引导技术进行预训练语言模型的方法，通过利用上下文嵌入来进行更丰富的自我监督信号，以获取来自有限资源的语言知识，通过在两个小的策划语料库上预训练并在四个语言基准测试中进行评估的 BabyLM 共享任务来进行实验。
Oct, 2023
本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。
Dec, 2021
本文提出了一种基于探测任务的神经网络模型的韧性度量方法，在通过语言模型中提取出的语言结构上评估了四种大型语言模型的一致性和鲁棒性，并发现神经网络的新兴句法表示具有脆弱性。
Oct, 2022
该论文介绍了一种语言模型，它利用句法结构从单词历史中提取有意义的信息，从而使得可以使用远距离依赖关系。该模型分配概率给每个单词序列 - 带头词注释的二元解析结构，并以左到右的方式运作，因此适用于自动语音识别。通过一系列实验来评估预测能力，该模型及其概率参数化对标准三元模型进行了改进。
Nov, 1998
本文讲述了如何通过自动生成语义不同但结果相似的句子组集来学习一种转换，以去除词法语义但保留结构信息，并证明这种方法在结构聚类方面的效果优于词汇语义聚类方法，最终在少样本解析任务中优于原始上下文化语言表示。
Oct, 2020
研究预训练语言模型如何通过无监督学习中的遮盖和预测标记产生语言结构和改进下游性能；理论认为，预训练语言模型通过遮盖具有暗示下游任务的填空作用，获得有用的归纳偏见。本文构建了类似填空的掩码，并用于三个不同的分类数据集，证明了预训练模型的绝大部分性能提升来自没有与词典关联的通用掩码；我们演示了掩码语言模型（MLM）目标与学习图形模型中的统计依赖的现有方法之间的对应关系，并利用这一点派生出一种提取该模型中学习到的统计依赖的方法，这些依赖以句法结构的形式编码。通过对暗示的统计依赖结构进行最小生成树的无监督解析评估，在无监督解析方面，简单地形成最小生成树优于经典的无监督解析方法（58.74 vs. 55.91 UUAS）
Apr, 2021
本文提出一种语言模型，其利用句法结构从单词历史中提取有意义的信息，实现了远距离依赖关系的利用。该模型为每个单词序列 - 二元分析结构分配概率加以注解，同时提出了概率参数化和一组评估其预测力的实验。
Nov, 1998