EMNLPAug, 2016

双向一致性注意力的依存句法分析

PDF
TL;DR我们开发了一种新颖的双向注意力模型，用于依存句法分析，其学习从正向和反向分析方向中的头部单词预测达成一致的方法。通过连续查询存储连续头部单词嵌入的存储器组件，为每个方向的分析过程制定解析程序。我们针对来自 CoNLL 2006 共享任务的英文、中文和其他 12 种语言进行了实验，并表明所提出的模型在 6 种语言的无标记附着得分上达到了最先进的水平。
bi-directional attention modeldependency parsingheadword embeddingsconll 2006state-of-the-art
发现论文，激发创造
  • 基于协议的双向注意力神经机器翻译联合训练

    通过协商双向翻译模型之间的单词对齐矩阵来优化神经机器翻译的关注机制，并提高翻译质量。

    Dec, 2015

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 使用双向 LSTM 特征表示进行简单准确的依存句法分析

    使用双向 LSTM 神经网络构建特征向量，在依存句法分析中实现最新的结果。

    Mar, 2016

  • 基于注意力机制的神经机器翻译双向分层表示

    本文提出了一种层次注意机制的神经翻译模型，采用双向树形编码器来增强源端层次表示，用加权变异的注意机制平衡词汇和短语向量之间的信息，通过树形稀有词编码将该模型扩展至亚字级别以缓解词汇缺失的问题，实证结果表明，该模型在英汉翻译任务中显著优于序列到序列的注意力机制和基于树的神经翻译模型。

    Jul, 2017

  • 多任务指针网络用于多表现解析

    提出了一种基于转换的方法，通过训练单个模型，可以有效地解析任何输入句子，支持连续 / 投影和不连续 / 非投影的句法结构，并证明了这两种句法形式可以在训练过程中互相受益，提高了在多个基准测试中的准确性，如英语和中文 Penn 树库以及德语 NEGRA 和 TIGER 数据集。

    Sep, 2020

  • 神经依存分析的深度双仿射注意力

    本篇论文利用神经关注力和双仿射分类器，在较大规模的语法分析器上获得了最新的科技水平，并介绍了超参数选择对性能的显著影响。

    Nov, 2016

  • 重新思考自注意力：朝向神经解析可解释性

    本研究提出了标签关注层，一种新的自注意形式，其中关注头表示标签。运行实验并在 Penn Treebank（PTB）和中文 Treebank 上展示出其在词法句法分析方面的最新成果，标签关注层在该实验中表现出了更好的性能，相比现有工作需要较少的自我注意层数。最后，我们发现标签注意头学习了语法类别之间的关系，并显示了分析错误的路径。

    Nov, 2019

  • 基于预训练多语言句子表示的零样本依存句法分析

    本篇论文研究了是否可以利用大规模多语言语料库（multilingual BERT）上预训练的现成双向深度句子表征，开发出一种无监督的通用句法分析器，以支持低资源语言的处理。实验结果表明，我们的方法在六种真正的低资源语言中均优于 CoNLL 2018 语言特定系统，但仍存在一些限制，如句法分析精度仍然随训练语言的变化而变化，并且在某些目标语言中，零 - shot 转移在所有测试条件下都无法成功，这引发了人们对整个方法的普适性问题的担忧。

    Oct, 2019

  • 众多语言，一种解析器

    使用多语言模型进行依赖解析，通过使用多语言单词聚类和嵌入，令解析器能够在多种语言中进行有效解析，同时基于语言普遍规律和类型相似性实现跨语言推断，从而使其能够更有效地从有限的注释中进行学习。

    Feb, 2016

  • 语义依存分析的深度多任务学习

    本文介绍了一种基于深度学习的语义依存图形式分析系统，该系统采用效率高且几乎拓扑结构简单的推理方法，通过组合双向 - LSTM 和多层感知机，能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究，并获得了新的技术成果。

    Apr, 2017