无需跨度表示的共指消解
本文介绍了第一个端到端的共指消解模型,并展示了它在不使用句法分析器或手工制作的提及检测器的情况下,明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及,并学习每个可能的先行词的分布。模型计算跨度嵌入,将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性,并分解以便于对可能存在的提及进行积极修剪。实验表明,尽管这是第一个成功训练不使用外部资源的方法,它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益,并使用 5 个模型集合获得 3.1 F1 分数的提升。
Jul, 2017
本文介绍了一个基于 Transformer 预训练语言模型的简单而有效的代替神经指代消解模型的 baseline,证明合理简化已有模型可以取得与复杂模型相媲美的性能表现。
Jul, 2021
在对比最近的指代消解模型,并针对文本中的字跨度和潜在联系过多的问题,提出通过单个词汇之间的指代联系,重新构建字跨度来减轻计算量并出色于以前的模型。新模型在 OntoNotes 基准测试中表现出与最近的模型相当的竞争力,且在效率上显著提高。
Sep, 2021
本研究中,我们证明 task-specific 模型并非必需,通过微调预训练的 seq2seq transformer,将输入文档映射为编码指示共指标注的标记序列,我们的模型在多个数据集上表现优于或接近文献中最佳的共指系统。我们还提出了一种特别简单的 seq2seq 方法,仅生成标记的范围而不包含原始文本。我们的分析表明模型大小、监督数量和序列表示的选择是性能的关键因素。
Oct, 2023
我们提出了一种基于多任务学习的神经模型,用于解决桥接参照的问题,解决了缺乏大型标注数据集和不同语料库之间定义不同的挑战,通过使用多任务学习和语料库无关特征实现了很高的性能。
Mar, 2020
使用上下文编码器和神经组件扩展增量聚类算法来模拟在固定内存约束下的关联消解,并对高性能模型进行了优化,以在 OntoNotes5.0 数据集上实现恒定空间的相对 F1 损失仅为 0.3%。
Apr, 2020
引入一种全可微分的高阶推理近似方法,用于指代消解,该方法使用跨度排名架构中的前先分布作为注意机制来迭代地改进跨度表示,从而允许模型对预测聚类中的多个跳进行软考虑,同时引入了粗到细的方法来降低计算成本。与现有的跨度排名方法相比,我们的模型在英语 OntoNotes 基准测试上显著提高了准确性,同时更加计算效率。
Apr, 2018
本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估,发现即使有些简单跨度表示在多个任务中相对可靠,但一般来说最优跨度表示方法因任务而异,也可能因不同任务的不同方面而异。同时,我们还发现,与精细调整的编码器相比,跨度表示的选择对于预先训练的编码器具有更大的影响。
Jun, 2020
这篇论文提出了一种通过多任务学习方法学习单例以及实体类型和信息状态等特征的共指模型,在 OntoGUM 基准上取得了新的最高分(+2.7 分),并在多个领域的数据集上提高了鲁棒性(平均 + 2.3 分),可能是由于更大的指称检测的泛化能力和更多单例数据的利用所致。
Sep, 2023