语言学知识自注意力在语义角色标注中的应用
本文研究了如何有效地将句法知识融入语义角色标注(SRL)任务中,使用不同质量和表示的依赖树的不同编码方法,提出了一种句法增强的自注意模型,并与其他两种强基准方法进行了比较,并使用新发布的深度上下文化词表示进行了实验。实验结果表明,通过正确地融合高质量的句法信息,我们的模型在 CoNLL-2009 数据集的中文 SRL 任务中取得了新的最佳表现。
Oct, 2019
本文探讨是否在神经网络中使用额外的句法特征表示对语义角色标注(SRL)有益,实验结果表明这有助于提高 SRL 的性能,并且在 CoNLL-2005 数据集上达到了新的最先进水平。
Jul, 2019
本文提出了一种基于自我注意力机制的新型神经网络架构以实现语义角色标注,能够解决循环神经网络在处理结构信息和长距离依赖时面临的主要挑战,其在 CoNLL 2005 和 CoNLL 2012 语义角色标注竞赛中的 F1 得分分别超过了之前的最佳成绩。此外,我们的模型计算效率高,单个 Titan X GPU 可以处理 50000 个标记每秒。
Dec, 2017
本篇论文中介绍了一种用于词语语义角色标注的简单而准确的神经模型,该模型通过双向 LSTM 编码器的状态预测谓词论元依赖关系,即使没有任何语法信息,仅使用本地推理即可在英语上取得有竞争力的性能,然而,当自动生成词性标注作为输入时,它的性能明显优于所有先前的本地模型,并接近报告的英语 CoNLL-2009 数据集的最佳结果。我们还考虑了中文、捷克语和西班牙语,其中我们的方法也取得了有竞争力的结果。基于语法的解析器在领域外数据上不可靠,因此当在该设置中进行测试时,标准(即语法相关)的 SRL 模型受到了阻碍。我们的基于语法不可知的模型表现更健壮,这在标准的领域外测试集上得到了最佳的报告结果。
Jan, 2017
本研究提出了一种新的基于依存句法的语义角色标注模型,该模型使用双向 LSTM 模型将超级标记与文本进行标记,然后将这些超级标记以及词和词性信息输入深度双向 LSTM 进行语义角色标注,该模型结合了先前基于完整依存句法解析进行 SRL 和最近使用无句法信息的模型的优点,并在 CoNLL 09 英语和西班牙语数据集上实现了最先进的性能。该论文表明在神经 SRL 系统中,超级标记是一种简单、强大且稳健的将句法信息纳入系统的方式。
Mar, 2019
本研究关注于多语言语义角色标注(SRL)模型的开发,并围绕句法规则、上下文化词表示等因素展开了研究,提出了一种基于句法规则的剪枝方法,并在 CoNLL-2009 的七种语言基准测试中实现了状态 - of-the-art 的效果,并验证了深度增强表示对多语言 SRL 的有效性。
Sep, 2019
本文使用深度学习框架,通过实验探究了句法信息对神经语义角色标注 (SRL) 的重要性,发现在一定条件下,神经 SRL 模型仍能从句法信息中获益;并且,本文使用现有模型进行了全面的实证研究,量化了句法对神经 SRL 模型的重要性。
Sep, 2020
本文介绍了一个端到端的神经模型,它统一处理谓语消歧和参数标记,并通过使用双仿射评分器直接预测句子中所有给定单词对的语义角色标签,达到了比现有的支持语法的 SRL 系统更好的性能。
Aug, 2018
本研究提出了标签关注层,一种新的自注意形式,其中关注头表示标签。运行实验并在 Penn Treebank(PTB)和中文 Treebank 上展示出其在词法句法分析方面的最新成果,标签关注层在该实验中表现出了更好的性能,相比现有工作需要较少的自我注意层数。最后,我们发现标签注意头学习了语法类别之间的关系,并显示了分析错误的路径。
Nov, 2019
本文介绍了基于统一覆盖模型的跨度和基于单词的语义角色标注,并提出了一种多任务学习框架,其中包括基本 SRL 模块和依赖性解析器模块,通过该框架,我们使用外部句法表示得到了新的最先进的中文 SRL 良好结果。
Nov, 2019