词级别指代消解
本文介绍了第一个端到端的共指消解模型,并展示了它在不使用句法分析器或手工制作的提及检测器的情况下,明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及,并学习每个可能的先行词的分布。模型计算跨度嵌入,将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性,并分解以便于对可能存在的提及进行积极修剪。实验表明,尽管这是第一个成功训练不使用外部资源的方法,它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益,并使用 5 个模型集合获得 3.1 F1 分数的提升。
Jul, 2017
本篇论文介绍了一种轻量级端到端的共指消解模型,该模型不再需要手工特性和启发式算法,也省去了动态构建范围和范围对表示所需的内存,相比当前标准模型具有更简单和高效的特点。
Jan, 2021
引入一种全可微分的高阶推理近似方法,用于指代消解,该方法使用跨度排名架构中的前先分布作为注意机制来迭代地改进跨度表示,从而允许模型对预测聚类中的多个跳进行软考虑,同时引入了粗到细的方法来降低计算成本。与现有的跨度排名方法相比,我们的模型在英语 OntoNotes 基准测试上显著提高了准确性,同时更加计算效率。
Apr, 2018
本文介绍了一个基于 Transformer 预训练语言模型的简单而有效的代替神经指代消解模型的 baseline,证明合理简化已有模型可以取得与复杂模型相媲美的性能表现。
Jul, 2021
本文提出了一种针对在线解码的指代消解方向,其针对包含对话在内的实时生成输入的场景,在每个对话轮次上,该模型接受一个话语和其过去的语境,然后查找当前话语中的提及以及它们的指代。该文章提出了基线和四个增量更新的模型,适应于提到链接范式的新设置,其中包括单一实例、说话人定位编码和跨轮次提及的情境化。在 Friends、OntoNotes 和 BOLT 这三个数据集上评估我们的方法,结果表明每个方面都带来了稳定的改进,我们最好的模型比基线高出 10%以上,是这个场景的一个有效系统。进一步分析突出了任务特点,例如解决提及回忆的重要性。
May, 2022
本研究提出了一种新方法,通过引入修辞信息到神经共指消解模型中,来明确捕获层次化语篇中的指代选择, 并使用多语言实体感知语言模型 LUKE,在 RuCoCo-23 共指消解任务上评估了该方法的性能。实验表明,使用修辞距离的最佳模型在开发集 (74.6 % F1) 上排名第一,在测试集 (73.3 % F1) 上排名第二。希望我们的研究能够激发对于神经共指消解模型中引入语篇信息的进一步研究。
Jun, 2023
本研究中,我们证明 task-specific 模型并非必需,通过微调预训练的 seq2seq transformer,将输入文档映射为编码指示共指标注的标记序列,我们的模型在多个数据集上表现优于或接近文献中最佳的共指系统。我们还提出了一种特别简单的 seq2seq 方法,仅生成标记的范围而不包含原始文本。我们的分析表明模型大小、监督数量和序列表示的选择是性能的关键因素。
Oct, 2023
本文提出了基于演员 - 评论家学习的混合规则 - 神经共指消解系统,它通过利用启发式规则和神经共指消解模型的优点来实现更好的共指性能。此端到端系统还可以通过使用联合训练算法执行提及检测和消解,并使用 BERT 模型生成输入跨度表示。我们的模型在 CoNLL-2012 Shared Task 英文测试集上使用 BERT 跨度表示实现了最新的最佳性能。
Dec, 2022
本文利用 BERT 模型对共指消解问题进行了研究,结果表明利用 BERT 模型在 OntoNotes 和 GAP 基准上取得了显著提升。自行搭建模型的测试结果表明,相比 ELMo 和 BERT-base 模型,BERT-large 模型在区分相关实体上表现更好,但在建模文档上下文、对话以及提取意象的方面,还有进一步提高的空间。
Aug, 2019