AAAIDec, 2017

带自注意力的深度语义角色标注

PDF
TL;DR本文提出了一种基于自我注意力机制的新型神经网络架构以实现语义角色标注，能够解决循环神经网络在处理结构信息和长距离依赖时面临的主要挑战，其在 CoNLL 2005 和 CoNLL 2012 语义角色标注竞赛中的 F1 得分分别超过了之前的最佳成绩。此外，我们的模型计算效率高，单个 Titan X GPU 可以处理 50000 个标记每秒。
semantic role labelingrecurrent neural networksself-attentionnatural language understandingconll
发现论文，激发创造
  • 基于增强语法自注意力的语义角色标注

    本文研究了如何有效地将句法知识融入语义角色标注（SRL）任务中，使用不同质量和表示的依赖树的不同编码方法，提出了一种句法增强的自注意模型，并与其他两种强基准方法进行了比较，并使用新发布的深度上下文化词表示进行了实验。实验结果表明，通过正确地融合高质量的句法信息，我们的模型在 CoNLL-2009 数据集的中文 SRL 任务中取得了新的最佳表现。

    Oct, 2019

  • 语法感知的神经语义角色标注

    本文探讨是否在神经网络中使用额外的句法特征表示对语义角色标注（SRL）有益，实验结果表明这有助于提高 SRL 的性能，并且在 CoNLL-2005 数据集上达到了新的最先进水平。

    Jul, 2019

  • 语言学知识自注意力在语义角色标注中的应用

    本研究提出了一种基于语言学的自我 - 注意力神经网络（LISA），它利用多头自我注意力和跨依存句法分析，词性标注，谓词检测和语义角色标注的多任务学习，无需显式地利用语言特征，只需使用标记作为输入进行处理，从而提高语义角色标注的准确性。

    Apr, 2018

  • 深度语义角色标注的半监督学习

    该研究论文提出了一种半监督的语义角色标注方法，该方法基于神经网络的隐层状态生成词汇特征，明确地加入并控制句法特征的不一致性，以实现更好地语义角色标注，尤其是在数据稀缺的情况下，并在 CoNLL-2012 英文部分中取得了相对于基准模型更好的结果。

    Aug, 2018

  • 迭代结构细化进行的语义角色标注

    该文介绍了一种用于语义角色标注（SRL）的迭代优化方法及网络结构，通过建立非局部交互关系，有效提高了模型表现，在七种 CoNLL-2009 中取得了最优表现并在其中五种语言中的英语数据集上取得了最新的成果。

    Sep, 2019

  • 语义角色标注的序列到序列模型

    本文探讨了一种将语义角色标注作为序列到序列过程的新方法，使用加强的基于注意力机制和复制机制的模型，对英文数据进行 PropBank SRL，证明该模型可以解决英语数据上的 SRL 标注任务，但需要添加更多的结构解码约束来使该模型真正具有竞争力。

    Jul, 2018

  • 从语法无关到语法相关的完整端到端语义角色标注器？

    本文介绍了一个端到端的神经模型，它统一处理谓语消歧和参数标记，并通过使用双仿射评分器直接预测句子中所有给定单词对的语义角色标签，达到了比现有的支持语法的 SRL 系统更好的性能。

    Aug, 2018

  • 语义角色标注的跨度选择模型

    本研究提出基于跨度的语义角色标注模型，能够直接考虑所有可能的论元跨度并为每个标签评分，模型具有允许设计和使用跨度级特征的优点。实验结果显示，本研究的集成模型在 CoNLL-2005 和 2012 数据集上实现了最先进结果，分别为 87.4 F1 和 87.0 F1。

    Oct, 2018

  • 基于指针网络的转移句法语义角色标注

    该研究提出了一种基于 Pointer Networks 的过渡型语义角色标注方法，该方法可以在不需要额外模块或语法信息的情况下，在单次从左到右经过中完整处理语句，其时间复杂度是 $O (n^2)$，并且在大多数 CoNLL-2009 共享任务的语言上实现了迄今为止最佳性能。

    May, 2022

  • 基于神经转移模型的端到端语义角色标注

    本文提出了第一个针对端到端语义角色标注任务采用转移模型的神经网络方法，并使用高阶组合提取非局部特征，实现了最佳性能和高效解码。在 CoNLL09 和 Universal Proposition Bank 上的实验结果表明，该方法可以创造最新的性能记录。

    Jan, 2021