Jun, 2019

从 BERT 表示中诱导句法树

PDF
TL;DR本篇研究使用英语 BERT 模型来探究删除句子中一个单词会如何影响其他单词的表征，结果表明删除一个可简化的单词，如形容词，不会像删除主要动词那样对其他单词的表征产生很大影响。同时研究了单词可简化性、句法关系及长句结构对语言模型的影响，借此确定完整的依存树。
bertword deletionsyntaxdependency trees
发现论文，激发创造
  • BERT 上语法信息编码的演进

    本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。

    Jan, 2021

  • 在多语言 BERT 中发现通用语法关系

    本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

    May, 2020

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • 评估 BERT 的句法能力

    该研究评估了最近推出的 BERT 模型对英语句法现象的捕捉程度，使用 (1) 自然发生的主谓一致刺激；(2)“无色的绿色思想” 主谓一致刺激以及 (3) 手动制作的主谓一致和反身代词现象的刺激。BERT 模型在所有情况下都表现出色。

    Jan, 2019

  • Syntax-BERT：在预训练变形金刚模型中加入句法树以提升性能

    本文提出了一种名为 Syntax-BERT 的新型框架，它可以有效地并高效地将句法树结构融入到基于 Transformer 的任何预训练模型中，并在多个先前的预训练模型上取得了稳定的性能提升，进一步证明了句法信息在 NLP 任务中的重要性。

    Mar, 2021

  • BERT 在分类语法角色时不考虑单词顺序… 除非它很重要

    通过探究自然语言处理模型中英语 BERT 和 GPT-2 语法角色的表示，发现其后期层次的单词聚类受到词序关系的影响，特别是在某些非典型语境下，词序知识对于正确的分类具有重要的作用，这突出了模型在非常规但至关重要的时刻如何使用上下文。

    Mar, 2022

  • 从 BERT 中引出关系知识

    该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。

    Nov, 2019

  • 不连续性成分和 BERT：荷兰语案例研究

    本文基于一种轻度上下文有关的形式主义，旨在量化 BERT 在观察荷兰语等非上下文自由模式的评估制度中的语法能力。作者采用一系列基于语法的标准，并配合少量词汇，提供了许多语言现象，从而得出结论，探究了模型难以获取所需的语言依赖结构。

    Mar, 2022

  • 探究上下文词向量的句子结构学习

    研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

    May, 2019

  • 打开西门子：深入探讨 BERT 的语言知识

    本文探讨了 BERT 对句法层次结构、位置信息以及自注意力向量的编码，并发现 BERT 在较低的层次上良好地编码了位置信息，在较高的层次上则更倾向于编码层次结构，这表明 BERT 的表示法确实模拟了语言的一些层次结构，并且对于处理反身代词的普遍敏感性没有人类大脑那么强。

    Jun, 2019