ACLOct, 2020

使用消息传递和端到端训练的二阶神经依存句法分析

PDF
TL;DR本文提出了一种使用信息传递和端到端神经网络进行二阶图形神经依赖解析的方法，说明了我们的方法与最近最先进的二阶图形神经依赖解析器的准确度相匹配，并且在训练和测试中速度显著更快。同时，实证表明，相较于一阶解析，二阶解析的优势与使用 BERT 嵌入时的头部选择结构约束的有用性相似。
graph-based neural parsingmessage passingend-to-end neural networkssecond-order parsingbert embedding
发现论文，激发创造
  • 使用端到端神经网络进行二阶语义依赖分析

    本文实现了第二阶段语义依赖解析器，使用平均场变分推理或循环置信传播算法来近似第二阶段解析，然后将两种算法展开成神经网络的递归层以进行端到端的训练，实验结果表明我们的方法实现了最新的最佳性能。

    Jun, 2019

  • 使用二阶推理和混合训练数据增强通用依存句法分析

    该论文提出了一种基于图的解析器系统，并使用二阶推理方法。我们在低资源的泰米尔语语料库中，将泰米尔语的训练数据与其他语言混合使用，显著提高了泰米尔语的性能。尽管我们之前提交了未连接的图，导致在 10 个团队中只排名第六，但我们解决这个问题后，我们的系统比官方排名第一的团队高出 0.6 ELAS。

    Jun, 2020

  • 二阶无监督神经依存句法分析

    我们提出了一种新的无监督神经依赖模型的二阶扩展，它可以包含祖父 - 子或兄弟信息，并使用基于一致性的学习框架联合训练一二阶无词汇化模型和一阶词汇化模型，实验表明我们的二阶模型在多个数据集上的效果优于最近的最先进方法，并且我们的联合模型在完整的 WSJ 测试集上取得了 10% 的改进。

    Oct, 2020

  • 语义依存分析的深度多任务学习

    本文介绍了一种基于深度学习的语义依存图形式分析系统，该系统采用效率高且几乎拓扑结构简单的推理方法，通过组合双向 - LSTM 和多层感知机，能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究，并获得了新的技术成果。

    Apr, 2017

  • 神经电位传递用于高阶依存句法分析

    本研究提出了一种使用双仿射算法将双仿射神经评分传播到图模型中的高阶依存分析方法来提高一阶依存分析器的精度。

    Jun, 2023

  • 一个高阶语义依存解析器

    本研究应用图神经网络（GNN）构建更高阶语义依存解析器，通过多个 GNN 层的聚合获得更高阶信息，实现近似推理，实现在 SemEval 2015 任务 18 英语数据集上超越先前最先进的解析器。

    Jan, 2022

  • 使用后期解码技术实现跨语言依存解析在真正低资源语言中的应用

    本研究提出了一种基于图形的端到端神经网络依赖解析器，这种解析器可以训练为复制边缘得分矩阵，从而可以直接在单词对齐上进行投影，并取得了相较于之前的最新技术，在 10 种语言上的 2.25% 的绝对改善。

    Jan, 2017

  • 神经网络基于转移的结构化训练解析

    通过结构化感知机训练和使用大量自动解析的句子来学习神经网络表示，我们的解析器在 Penn Treebank 数据集上达到了 94.26％的未标记和 92.41％的标记附加精度，是迄今为止在 Stanford Dependencies 上最佳的精度，并提供深入的剖析分析以确定模型的哪些方面提供了最大的准确性增益。

    Jun, 2015

  • 基于指针网络的基于转换的语义依存句法分析

    通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平，我们提出了一种基于指针网络的转移系统，可以直接生成标记有方向无环图并实现语义依赖分析。同时，我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型，而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。

    May, 2020

  • 基于依赖关系的神经重排模型用于统计机器翻译

    本文介绍了一种新的重排序方法，利用神经网络和基于依存性的嵌入来预测两个源单词之间的依存关系，以确定翻译的单词顺序，实现了在中英翻译中统计显著的 0.57 BLEU 分数的提高。

    Feb, 2017