利用多任务学习将单例和基于提及的特征纳入共指消解,以提高泛化性能
通过使用神经网络和学习搜索算法,本研究提出了一种基于实体级信息的代指消解系统,其在 CoNLL 2012 共享任务数据集的英语和中文部分上,即使使用了很少的手工特征,也显著优于当前最先进的技术。
Jun, 2016
本文介绍了第一个端到端的共指消解模型,并展示了它在不使用句法分析器或手工制作的提及检测器的情况下,明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及,并学习每个可能的先行词的分布。模型计算跨度嵌入,将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性,并分解以便于对可能存在的提及进行积极修剪。实验表明,尽管这是第一个成功训练不使用外部资源的方法,它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益,并使用 5 个模型集合获得 3.1 F1 分数的提升。
Jul, 2017
本文提出了一种针对在线解码的指代消解方向,其针对包含对话在内的实时生成输入的场景,在每个对话轮次上,该模型接受一个话语和其过去的语境,然后查找当前话语中的提及以及它们的指代。该文章提出了基线和四个增量更新的模型,适应于提到链接范式的新设置,其中包括单一实例、说话人定位编码和跨轮次提及的情境化。在 Friends、OntoNotes 和 BOLT 这三个数据集上评估我们的方法,结果表明每个方面都带来了稳定的改进,我们最好的模型比基线高出 10%以上,是这个场景的一个有效系统。进一步分析突出了任务特点,例如解决提及回忆的重要性。
May, 2022
通过将来自现有嵌套 NER 系统的预测提及与来自 OntoNotes 句法树的特征结合,我们在接近 OntoNotes 数据集中带有所有单例提及的情况下,实现了对黄金单例的 94%召回率。然后,我们提出了一个名为 SPLICE 的两步神经提及和共指解析系统,并在 OntoNotes 测试集和域外 OntoGUM 语料库的两种情况下将其性能与端到端方法进行比较。结果表明,重构的单例训练在 OntoNotes 中产生了与端到端系统相当的结果,同时提高了域外稳定性(+1.1 平均 F1)。我们对提及检测进行了错误分析,并探讨其对共指聚类的影响,发现提高精度可为解决共指链提供更实质性的益处。
Mar, 2024
提出一种基于全连接网络和卷积神经网络的单一提及检测模块,采用手工制作的特征、上下文信息和词嵌入,应用于使用核指代注释的包括 3.6K 个句子和 78K 个标记的印地语数据集,显著提高了核指代解析过程的性能表现。
Jan, 2023
本文提出了一种针对 NLP 中需要汇总来自远处的同一实体的信息的情况的循环层,该层使用外部系统提取的指代注释连接属于同一簇的实体提及,并将其合并到最先进的阅读理解模型中,从而改善了 Wikihop、LAMBADA 和 bAbi 人工智能任务的性能,并且可在数据稀缺时获得大的收益。
Apr, 2018
本篇论文介绍了一种轻量级端到端的共指消解模型,该模型不再需要手工特性和启发式算法,也省去了动态构建范围和范围对表示所需的内存,相比当前标准模型具有更简单和高效的特点。
Jan, 2021
我们提出了一种基于多任务学习的神经模型,用于解决桥接参照的问题,解决了缺乏大型标注数据集和不同语料库之间定义不同的挑战,通过使用多任务学习和语料库无关特征实现了很高的性能。
Mar, 2020
提出了一种基于聚类排名的共指解析方法,该方法结合了提及排名和实体 - 提及模型的优点,并通过两个扩展来改进聚类排名者的性能: (1) 词汇化和 (2) 通过联合建模代表性确定和共指解析来结合关于先行词类型的知识。实验结果表明,与竞争方法相比,此方法具有卓越的性能,并且我们的两个扩展措施是有效的。
Jan, 2014