缩小建模差距:一种集群排序方法用于共指消解
本文提出了一个基于生成模型,引入 resolution mode 变量的无监督排名模型,用于实体的共指消解。该无监督系统在 CoNLL-2012 共享任务的英文数据上,通过 CoNLL 指标得分为 58.44%,超过了 Stanford 确定性系统(Lee et al.,2013)3.01% 的得分。
Mar, 2016
通过使用神经网络和学习搜索算法,本研究提出了一种基于实体级信息的代指消解系统,其在 CoNLL 2012 共享任务数据集的英语和中文部分上,即使使用了很少的手工特征,也显著优于当前最先进的技术。
Jun, 2016
使用 LSTM-Siamese 网络提出一种提高抽象代词分析性能的注重排名的模型,通过生成人工抽象代词句子 - 先行短语对来克服缺乏训练数据的问题。在 shell 名词分辨率上,我们的模型优于最先进的结果。在包含更多名词和代词的抽象指称子集的 ARRAU 语料库中,我们发现可以优化模型的变体,但在代词指称方面仍然落后。
Jun, 2017
本文介绍了第一个端到端的共指消解模型,并展示了它在不使用句法分析器或手工制作的提及检测器的情况下,明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及,并学习每个可能的先行词的分布。模型计算跨度嵌入,将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性,并分解以便于对可能存在的提及进行积极修剪。实验表明,尽管这是第一个成功训练不使用外部资源的方法,它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益,并使用 5 个模型集合获得 3.1 F1 分数的提升。
Jul, 2017
本文提出了基于演员 - 评论家学习的混合规则 - 神经共指消解系统,它通过利用启发式规则和神经共指消解模型的优点来实现更好的共指性能。此端到端系统还可以通过使用联合训练算法执行提及检测和消解,并使用 BERT 模型生成输入跨度表示。我们的模型在 CoNLL-2012 Shared Task 英文测试集上使用 BERT 跨度表示实现了最新的最佳性能。
Dec, 2022
本研究提出了一种新方法,通过引入修辞信息到神经共指消解模型中,来明确捕获层次化语篇中的指代选择, 并使用多语言实体感知语言模型 LUKE,在 RuCoCo-23 共指消解任务上评估了该方法的性能。实验表明,使用修辞距离的最佳模型在开发集 (74.6 % F1) 上排名第一,在测试集 (73.3 % F1) 上排名第二。希望我们的研究能够激发对于神经共指消解模型中引入语篇信息的进一步研究。
Jun, 2023
通过建模文档级别的语义关系图表,该研究提出了一种非自回归学习的自然语言处理模型,以改善代词关联问题的解决性能。实验结果表明,该方法在多个基准测试场景下有显著表现提升。
Mar, 2022
引入一种全可微分的高阶推理近似方法,用于指代消解,该方法使用跨度排名架构中的前先分布作为注意机制来迭代地改进跨度表示,从而允许模型对预测聚类中的多个跳进行软考虑,同时引入了粗到细的方法来降低计算成本。与现有的跨度排名方法相比,我们的模型在英语 OntoNotes 基准测试上显著提高了准确性,同时更加计算效率。
Apr, 2018