知识感知代词指代消解
本文提出了一个包含两层模型的代词共指消解模型,使用了上下文信息以及外部知识,其中一个使用注意力机制的知识模块被设计来根据不同的上下文内容确保模型能够使用合适的外部来源。实验结果表明,该模型的有效性和优越性优于现有的模型。
May, 2019
本文旨在从多个句子构成的文档中提取关系事实。通过使用异构图构建和核心指代消解处理,作者提出了一个基于图推理网络的注意指代消解的方法来增强语义信息和降低噪声,并在 DocRED,DialogRE 和 MPDD 三个公共数据集上进行了实验,证明其在文档关系抽取领域超越了目前最先进的技术水平。
Feb, 2022
提出了一种基于谓词模式和受限优化框架的代表性算法,用于解决自然语言理解中的指称消解问题,特别是针对代词的困难实例。该算法通过无监督方式获取知识,编译自动约束,显著提高了 “Winograd-style” 难例的性能,并在标准指称消解数据集上表现出最先进的水平。
Jul, 2019
本文介绍了第一个端到端的共指消解模型,并展示了它在不使用句法分析器或手工制作的提及检测器的情况下,明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及,并学习每个可能的先行词的分布。模型计算跨度嵌入,将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性,并分解以便于对可能存在的提及进行积极修剪。实验表明,尽管这是第一个成功训练不使用外部资源的方法,它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益,并使用 5 个模型集合获得 3.1 F1 分数的提升。
Jul, 2017
该研究提出了一种用于波斯语代词消解的端到端神经网络系统,利用预训练的 Transformer 模型如 ParsBERT。我们的系统同时优化了提及检测和先行链路,相比前期依赖基于规则和统计方法的最新系统,在 Mehr 语料库上实现了 3.37 F1 分数的提高。这一显著改进展示了将神经网络与语言模型结合的有效性,可能标志着波斯语代词消解领域的显著进展,并为进一步的研究铺平了道路。
May, 2024
本文在共指消解和自然语言推理领域引入了一个目标针对常识理解和世界知识的新基准,即 Knowref。我们提出了一个包含超过 8,000 个文本段落的语料库,用于研究具有歧义的代词指代的核心指代功能。我们发现,各种核心参考系统(基于规则的、特征丰富的或神经网络的)在该任务上的表现都比人类差得多,而这可能是因为这些模型缺乏上下文信息。我们还提出了一种数据增强技巧 antecedent switching,并展示了它在其他任务中取得了有 promising 的结果。
Nov, 2018
我们引入了一种上下文感知的神经机器翻译模型,该模型可以控制和分析从扩展上下文到翻译模型的信息流,实验证明该模型改进了代词翻译和在指代方面进行了隐含捕获,而且不仅在指代性情况下有所改进,还提高了整体 BLEU 分数。
May, 2018
本文提出了一种自动挖掘和利用特定领域知识的方法,以协助对消费者对产品的评论进行类别划分和内容关联,通过在无标签的评论数据中提取领域特定的知识,并利用知识感知神经联合分类模型共同完成任务,实证结果表明该方法在涉及五个产品类型的实际数据集中表现出良好的效果。
Oct, 2020
通过问题引导的工程方法,我们测试了更大的模型对 coreference resolution 任务的可行性,研究表明,GPT-2 和 GPT-Neo 可以返回有效的答案,但其识别 coreferent mentions 的能力受到提示敏感性的限制,导致结果不一致。
May, 2022