预训练词向量、字符模型和词性标注在依存句法分析中的相互作用研究

EMNLPAug, 2018

预训练词向量、字符模型和词性标注在依存句法分析中的相互作用研究

An Investigation of the Interactions Between Pre-Trained Word Embeddings, Character Models and POS Tags in Dependency Parsing

PDF

Aaron Smith, Miryam de Lhoneux, Sara Stymne, Joakim Nivre

TL;DR本文通过对预训练词向量、字符模型和 POS 标签在基于转移的依赖分析器中的相互作用进行综合分析，认为它们之间存在复杂的相互作用，并且在分别应用它们时，均较使用随机初始化的词向量的基线系统都有了大幅度的改进，但组合它们很快就会显得变得没有预期的好，特别是在具有丰富形态的低频开放类词汇和有歧义性的高频功能词之间，将它们灵活组合使用可以得到同样的结果，同时对于具有小字符集的语言，尤其是对于形态丰富的语言，大的字符嵌入大小也有助于提高依赖分析的品质

Abstract

We provide a comprehensive analysis of the interactions between pre-trained word embeddings, character models and pos tags in a transition-based dependency parser. While previous studies have shown POS informatio

pre-trained word embeddings character models pos tags transition-based dependency parser parsing quality

发现论文，激发创造

解析作为预训练

本文讨论了使用预训练架构（而非解码）进行单语种全刻度句法分析（成分和依赖）的问题，并使用序列标注作为模型，探讨了不同词向量的句法敏感性。实验分析显示，使用预训练编码器的结果优于现有序列标记解析器，F1 评分为 93.5％（PTB）和 78.8％（EN-EWT UD）的限制条件下。

Feb, 2020

在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果

本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。

Aug, 2019

基于转移的神经网络联合词性标注和依存句法分析

本文提出了使用基于转移的神经网络联合进行词性标注和依存分析的方法，实现了标签冲突、移位 / 归约冲突和标记冲突的解决。实验表明，我们的方法在各种自然语言的联合词性标注和依存分析方面明显优于之前的方法。

Apr, 2017

依存句法分析器的三倍训练的再探讨

本研究比较了两种半监督学习技术，即 tri-training 和预训练词嵌入，在依存句法分析任务中的表现。研究探讨了语言特定的 FastText 和 ELMo 嵌入以及多语言 BERT 嵌入，并选择了匈牙利语、维吾尔语和越南语等语言进行研究。结果表明，预训练词嵌入比 tri-training 更有效地利用了未标记数据，但这两种方法可以成功地结合使用。

Sep, 2021

利用词语语义丰富汉语预训练模型的字表示

本文提出了一种新的方法，利用单词结构并将词汇语义融入预训练模型的字符表示中，以加强单词信息的表达，通过词 - 字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能，并进一步证明了模型各组件的有效性。

Jul, 2022

基于卷积神经网络的字符构成模型用于形态丰富语言的依存句法分析

该研究提出了一种基于转移的依存句法分析器，使用卷积神经网络来从字符中组合单词表示。字符组合模型在解析结合语言方面表现出显著的改进，这些改进甚至比使用额外数据训练的预训练词嵌入模型更好。在 SPMRL 数据集上，与之前最好的贪心解析器相比，我们的系统平均提高了 3％的表现。

May, 2017

面向自然语言推理的语言学启发式多目标预训练

本研究介绍了一种使用预训练方法的语言增强模型，包括基于词性标注、基于语义知识图谱的同义词预测和基于依存句法树的父级预测的预训练目标。结果表明，该方法在自然语言推断任务上具有竞争力。特别是对于更小的模型，这种方法可以显著提高性能，强调了智能预训练可以弥补较少的参数缺陷，并有助于构建更高效的模型。综合考虑词性标注和同义词预测可以获得最佳结果。

Dec, 2022

线性化解析在词性标注中的价值 - 然而对错误抱有一些烦恼

研究表明，在深度学习背景下，词性标注对于语法分析的作用有限，唯有当标注准确率非常高或资源非常匮乏时才有所帮助；而对于序列标注分析模型而言，词性标注的影响取决于编码方式等因素，其中基于词性的头选择编码方式仅在标注准确率和资源可用性均很高时表现最佳。

Oct, 2022

转移和图形依存关系分析中的深度语境化词嵌入－重访两种解析器的故事

通过对十三种语言的依存句法分析实验进行误差分析，本文表明基于转移和基于图的依存句法分析器具有互补的优缺点，深层上下文词嵌入有利于转移依存句法分析器更好地利用其准确的局部决策，使得这两种方法在精度和误差概要方面几乎等效。

Aug, 2019

跨语言和语法下预训练模型的评估

我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023