ACLApr, 2017

语义依存分析的深度多任务学习

PDF
TL;DR本文介绍了一种基于深度学习的语义依存图形式分析系统，该系统采用效率高且几乎拓扑结构简单的推理方法，通过组合双向 - LSTM 和多层感知机，能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究，并获得了新的技术成果。
deep neural architecturesemantic dependency parsingmulti-task learningbidirectional-lstmstate of the art
发现论文，激发创造
  • 联合词性标注和基于图结构的依存句法分析的新型神经网络模型

    本研究提出了一种新型的神经网络模型，该模型可以同时学习 POS 标记和基于图的依赖解析。该模型使用双向 LSTM 来学习两个任务共享的特征表示，从而解决了特征工程问题。该模型在 19 种语言的通用依赖关系项目上进行了广泛的实验，结果表明我们的模型优于基于神经网络的最新关于 POS 标记和基于转移的依赖解析的程序，从而取得了新的最优性能。

    May, 2017

  • 语义解析的深度体系结构

    本文介绍了一种新颖的深度学习架构，通过将两个语言语义的神经模型相结合，提供了一个语义分析系统，无需解析即可从自然语言语句和问题中生成本体库特定的查询，使其特别适用于语法错误或句法非典型的文本，例如 Twitter，也允许开发受资源限制的语言的语义解析器。

    Apr, 2014

  • 一个语义分析器解析所有问题：基于序列到序列多任务学习的语义解析数据集

    本文为研究使用多任务学习 (MTL) 框架统一不同的含义数据集和训练单一模型，使用了五个数据集 (Geoquery，NLMaps，TOP，Overnight，AMR) 进行实验，我们发现在不增加总参数数量的情况下，全网络共享的 MTL 架构的解析精度与单任务的基线相当或更好，同时也提供了更好的组合推广性，我们还提出了一种可与广泛使用的比例抽样策略相比较的竞争性选择任务抽样方法。

    Jun, 2021

  • 更简单但更准确的语义依赖分析

    本研究使用 LSTM 神经网络对句法解析器进行扩展，使其能够训练并生成图形结构的语义依存关系，并获得了最新的高性能表现。

    Jul, 2018

  • 神经语义解析的迁移学习

    本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

    Jun, 2017

  • 使用端到端神经网络进行二阶语义依赖分析

    本文实现了第二阶段语义依赖解析器，使用平均场变分推理或循环置信传播算法来近似第二阶段解析，然后将两种算法展开成神经网络的递归层以进行端到端的训练，实验结果表明我们的方法实现了最新的最佳性能。

    Jun, 2019

  • 多任务指针网络用于多表现解析

    提出了一种基于转换的方法，通过训练单个模型，可以有效地解析任何输入句子，支持连续 / 投影和不连续 / 非投影的句法结构，并证明了这两种句法形式可以在训练过程中互相受益，提高了在多个基准测试中的准确性，如英语和中文 Penn 树库以及德语 NEGRA 和 TIGER 数据集。

    Sep, 2020

  • 基于上下文的语义解析在时间结构数据上的应用

    本文介绍了一种新的语义解析设置，使用户能够使用自然语言问题和图形用户界面内的操作查询系统。我们设计了一个基于 LSTM 的编码器 - 解码器架构，通过复制机制和多级输入和先前输出的注意力来建模上下文依赖性。使用策略梯度训练该架构可进一步提高性能，在人工数据上达到了 88.7% 的序列级准确度，在实际数据上达到了 74.8%。

    May, 2019

  • 跨语义表示的多任务解析

    本文针对语义解析的性能进行改进，使用多任务学习方法，将 UCCA 解析作为测试案例，辅助任务包括 AMR 解析、SDP 解析和 Universal Dependencies 解析。实验表明，多任务学习显著提高了 UCCA 解析的性能。

    May, 2018

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016