EMNLPOct, 2020

基于预训练语言模型的句法分支偏差探究

PDF
TL;DR该研究提出了一种通过比较语言和反向语言的性能差距来量化分支偏差的方法，并分析了分析算法、特征定义和语言模型对分支偏差的影响。实验结果表明，存在一些现有作品存在分支偏差，并且这三个因素的一些实现可能会引入分支偏差。
constituency treespre-trained language modelsbranching bias issueperformance gapparsing algorithms
发现论文，激发创造
  • 语言模型中如何种植树木：数据和架构对句法归纳偏差发生的影响

    本文研究了预训练模型在通用语言中层次化句法功能的作用，通过诊断语法转换任务来诊断预训练参数的归纳偏差，结果表明，模型深度对于层次化泛化具有更大的作用，同时，在训练规模方面，使用适当的语料库预训练可以提高效率。

    May, 2023

  • 非监督句法分析中偏倚解析器的关键分析

    本文使用 Shen 等人 (2018) 的句法分析算法来恢复基于 “句法深度” 代理的短语结构树，并使用常规 LSTM 语言模型提供的代理进行比较，发现偏向于右分支结构的解析算法可以夸大语言模型的表现能力。

    Sep, 2019

  • 跨语言和语法下预训练模型的评估

    我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

    Sep, 2023

  • 预训练语言模型是否能识别短语？语法归纳的简单但强大的基准线

    介绍了一种利用预训练语言模型提取短语结构树的方法，并发现预训练语言模型在正确划分句子中的副词短语方面表现优异，从而有助于进一步理解预训练语言模型的内部机制。

    Jan, 2020

  • 探究使用运动修剪在预训练基于 Transformer 的语言模型中的性别偏见

    本研究提出了一种通过运动剪枝实现检查预训练变压器语言模型中偏差的方法，并使用性别偏见作为案例来验证方法。

    Jul, 2022

  • 薛定谔树 -- 论语法与神经语言模型

    本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

    Oct, 2021

  • 神经组合成分解析

    该研究提出了两个快速神经组合模型，用于句法分析，分别是二元模型和多分支模型，它们的理论复杂度是次二次的，实际复杂度较低，其中二元模型在 Penn Treebank 上取得了 92.54 的 F1 分数，并以 1327.2 个句子 / 秒的速度进行解析。同时，该模型结合 XLNet，准确率接近英文句法分析的最新水平，并能够观察到 Penn Treebank、Chinese Treebank 和 Keyaki Treebank（日本）在训练和推理过程中的句法倾向和头向性。

    Jun, 2021

  • 自然语言处理模型中的预测偏见：概念框架和概述

    文章提出了一种用于 NLP（自然语言处理）的预测性偏差框架，该框架将数据、模型、标签偏差、选择偏差、模型过度放大、语义偏差作为偏差的四个主要来源，并探讨了过去的工作是如何对抗每种偏差来源的，以期引导未来研究。

    Nov, 2019

  • 序列到序列网络中的层级归纳偏差源：语法需要生长在树上吗？

    研究神经序列到序列模型中的归纳偏差如何影响其推广行为，发现只有采用具有语法结构的树状模型才能保持类人语法推广能力。

    Jan, 2020

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020