MMJul, 2018

深度上下文化词向量、集成和树库连接：迈向更好的 UD 句法分析

PDF
TL;DR本文描述了我们的系统（HIT-SCIR），该系统提交给 CoNLL 2018 共享任务，涉及从原始文本到通用依赖的多语言解析。我们基于斯坦福的获胜系统进行提交和进行了两个有效的扩展：1）将深度上下文化词嵌入到词性标记器和解析器中；2）集合使用不同初始化的解析器进行训练。我们还探索了不同的合并树库的方法以进行进一步的改进。开发数据上的实验结果显示了我们方法的有效性。在最后的评估中，我们的系统在 LAS（75.84％）上排名第一，并大幅跑赢了其他系统。
multilingual parsinguniversal dependenciescontextualized word embeddingsensembling parserslas
发现论文，激发创造
  • 从零开始的通用依存句法分析

    该论文介绍了 Stanford 的 CoNLL 2018 UD 共享任务中的系统，这是一个完整的神经管道系统，可以将原始文本作为输入，并执行共享任务所需的所有任务，从分词和句子分割到词性标注和依赖关系解析，并通过广泛的消融研究展示了不同的模型组件的有效性。

    Jan, 2019

  • 在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果

    本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。

    Aug, 2019

  • 82 个树库，34 个模型：多树库模型实现通用依存句法分析

    介绍了 Uppsala 系统，它是一个由三个部分构成的流水线，可以用于 CoNLL 2018 共享任务的普遍依赖语法分析。通过使用多个树库对同一语言或密切相关语言训练模型，我们极大地减少了模型数量，最终在公开测试上获得了 LAS 和 MLAS 指标的第 7 位排名以及词分割、普遍 POS 标签和形态特征的最高分。

    Sep, 2018

  • UDPipe 于 SIGMORPHON 2019: 上下文嵌入，形态类别规则化，语料库合并

    我们在 SIGMORPHON2019 共享任务中对 UDPip2.0 进行修改，使用预训练的上下文化嵌入 (BERT) 作为网络的附加输入，使用单独的形态特征作为正则化，并合并了同一语言的选定语料库，在词形还原任务中，我们的系统的准确性达到了 95.78，超过所有提交的系统，且在词态分析方面取得了 93.19 的准确度，是一个非常有前途的研究。

    Aug, 2019

  • 使用异构树库进行的解析器训练

    本文提出了一种基于树库嵌入的新方法，以改进现有多种树库的依存关系分析器，实验证明这种方法相比于现有的许多策略要好，可以大大提高自然语言处理中的性能

    May, 2018

  • 将推文解析为通用依存关系

    本文介绍了用 Universal Dependencies 分析 Tweets 的问题，提出了扩展 UD 指南来覆盖 Tweets 中的特殊结构以及使用新的 Tweet Treebank v2 来解决标注中的歧义，并构建了一个可以将原始 Tweets 解析为 UD 的流水线系统。此外，作者还提出了一种新的方法来精简基于转换的解析器的集合，并在真实情况下验证了该方法的有效性。

    Apr, 2018

  • 使用二阶推理和混合训练数据增强通用依存句法分析

    该论文提出了一种基于图的解析器系统，并使用二阶推理方法。我们在低资源的泰米尔语语料库中，将泰米尔语的训练数据与其他语言混合使用，显著提高了泰米尔语的性能。尽管我们之前提交了未连接的图，导致在 10 个团队中只排名第六，但我们解决这个问题后，我们的系统比官方排名第一的团队高出 0.6 ELAS。

    Jun, 2020

  • UD 希伯来语树库和跨领域分析的第二波

    本论文介绍了基于维基百科选定主题的希伯来 UD 树库，进行了质量评估，并且使用最新的语言模型和现有的基于转换器的方法进行了跨域分析实验，取得了最新的技术成果。

    Oct, 2022

  • 利用多类型树库进行深度多任务学习的解析

    本文提出了一种基于多任务学习的通用框架，将多类型树库结合起来，通过多级参数共享提高依存解析模型的性能，实验表明该方法可以有效地利用任意源树库来提高目标解析模型的性能。

    Jun, 2016

  • 高效 EUD 解析

    FASTPARSE 团队针对 IWPT2020 的 EUD Shared Task 提出一种训练和推理效率结合的模型，结合神经依存解析和基于规则的系统，将 UD 树映射为 EUD 图，在官方提交中获得 74.04 的平均 ELAS，排名第 4。

    Jun, 2020