端到端神经共指消解

EMNLPJul, 2017

End-to-end Neural Coreference Resolution

Kenton Lee, Luheng He, Mike Lewis, Luke Zettlemoyer

TL;DR本文介绍了第一个端到端的共指消解模型，并展示了它在不使用句法分析器或手工制作的提及检测器的情况下，明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及，并学习每个可能的先行词的分布。模型计算跨度嵌入，将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性，并分解以便于对可能存在的提及进行积极修剪。实验表明，尽管这是第一个成功训练不使用外部资源的方法，它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益，并使用 5 个模型集合获得 3.1 F1 分数的提升。

Abstract

We introduce the first end-to-end coreference resolution model and show that it significantly outperforms all previous work without using a syntactic parser or hand-engineered mention detector. The key idea is to directly consider all spans in a document as potential mentions and learn

coreference resolution end-to-end model distribution learning span embeddings state-of-the-art performance

发现论文，激发创造

基于粗到精推理的高阶指代消解

引入一种全可微分的高阶推理近似方法，用于指代消解，该方法使用跨度排名架构中的前先分布作为注意机制来迭代地改进跨度表示，从而允许模型对预测聚类中的多个跳进行软考虑，同时引入了粗到细的方法来降低计算成本。与现有的跨度排名方法相比，我们的模型在英语 OntoNotes 基准测试上显著提高了准确性，同时更加计算效率。

Apr, 2018

端到端神经指代消解再探：一个简单且有效的基准线

本文介绍了一个基于 Transformer 预训练语言模型的简单而有效的代替神经指代消解模型的 baseline，证明合理简化已有模型可以取得与复杂模型相媲美的性能表现。

Jul, 2021

无需跨度表示的共指消解

本篇论文介绍了一种轻量级端到端的共指消解模型，该模型不再需要手工特性和启发式算法，也省去了动态构建范围和范围对表示所需的内存，相比当前标准模型具有更简单和高效的特点。

Jan, 2021

基于查询的跨度预测的指代消解

本文对实体语义的问题提出一个可扩展且高准确率的解决方法，利用生成的查询可以深入分析文本中的语义，进行连词识别，以此提高模型的泛化能力。

Nov, 2019

通过联合提及检测和提及聚类的深度双仿射注意力神经指代消解

本文介绍了一种使用双仿射注意模型和联合最优化方法来改善端到端语义消解系统的方法，该方法在 CoNLL-2012 共享任务的英文测试集上实现了最先进的性能。

May, 2018

恒定内存下的增量神经指代消解

使用上下文编码器和神经组件扩展增量聚类算法来模拟在固定内存约束下的关联消解，并对高性能模型进行了优化，以在 OntoNotes5.0 数据集上实现恒定空间的相对 F1 损失仅为 0.3%。

Apr, 2020

词级别指代消解

在对比最近的指代消解模型，并针对文本中的字跨度和潜在联系过多的问题，提出通过单个词汇之间的指代联系，重新构建字跨度来减轻计算量并出色于以前的模型。新模型在 OntoNotes 基准测试中表现出与最近的模型相当的竞争力，且在效率上显著提高。

Sep, 2021

句子级递增神经共指消解

本文提出一种句子增量神经代词消解系统，成功地融合了两种最新的技术：非增量模型和内存网络模型，在 OntoNotes 和 CODI-CRAC 2021 中达到了更好的结果。

May, 2023

对话处理的在线共指消解：提高即时对话中的提及链接

本文提出了一种针对在线解码的指代消解方向，其针对包含对话在内的实时生成输入的场景，在每个对话轮次上，该模型接受一个话语和其过去的语境，然后查找当前话语中的提及以及它们的指代。该文章提出了基线和四个增量更新的模型，适应于提到链接范式的新设置，其中包括单一实例、说话人定位编码和跨轮次提及的情境化。在 Friends、OntoNotes 和 BOLT 这三个数据集上评估我们的方法，结果表明每个方面都带来了稳定的改进，我们最好的模型比基线高出 10％以上，是这个场景的一个有效系统。进一步分析突出了任务特点，例如解决提及回忆的重要性。

May, 2022

基于 Actor-Critic 学习的混合规则 - 神经共引消解系统

本文提出了基于演员 - 评论家学习的混合规则 - 神经共指消解系统，它通过利用启发式规则和神经共指消解模型的优点来实现更好的共指性能。此端到端系统还可以通过使用联合训练算法执行提及检测和消解，并使用 BERT 模型生成输入跨度表示。我们的模型在 CoNLL-2012 Shared Task 英文测试集上使用 BERT 跨度表示实现了最新的最佳性能。

Dec, 2022