May, 2023

EntRED: 基于少量快捷方式进行关系抽取的基准测试

PDF
TL;DR本研究发现，在现有的关系抽取标准基准数据集中，数据集中的实体注释存在大量错误的情况，实体命名多样性较低，并且易于从实体名字的快捷方式到基本事实关系。为此，我们提出了一个新的具有挑战性的关系抽取数据集 EntRED，提高了实体多样性，并通过引入基于因果推理（CI）的端到端实体替换管道 ERIC。我们将 ERIC 应用于 TACRED 以生成 EntRED。实验表明，即使针对强关系模型，其性能在 EntRED 上也会显着下降，该模型仅仅记忆实体名字的模式而不是从文本上下文推理。
entity namesrelation extractionre modelsentred benchmarkeric
发现论文，激发创造
  • BioRED：一份丰富的生物医学关系提取数据集

    本文提出了一个多实体类型和多关系对的文献级生物医学关系抽取数据集 BioRED，包括新发现和先前已知的信息，旨在评估现有状态下的自动化算法，为更准确、高效和稳健的生物医学关系系统的开发奠定基础。

    Apr, 2022

  • 论文级关系抽取模型对实体名称变化的鲁棒性研究

    通过使用维基数据生成改名实体的文档，并对三个代表性文档级关系抽取模型和两个大规模语言模型在强化学习环境下进行实验，发现他们对实体名称的变化缺乏鲁棒性，尤其是在跨句子关系实例和包含更多实体的文档中。因此，我们提出了一种强化学习的训练方法，旨在改进文档级关系抽取模型的鲁棒性并增强其理解和推理能力。同时我们还证实了该方法的基本思想同样适用于 DocRE 的上下文学习。

    Jun, 2024

  • 从语境还是名称学习？神经关系抽取的实证研究

    本文研究神经模型在关系抽取（RE）任务中的表现，并提出了一种基于实体掩码对比预训练框架，旨在深入理解文本上下文和类型信息，同时避免了对命名实体的机械记忆或表浅提示的使用。实验证明，该框架可以提高不同情况下的神经模型的效果和鲁棒性。

    Oct, 2020

  • 朝着现实低资源关系抽取的方向：具有实证基线研究的基准测试

    本文通过三种不同的方案对低资源情况下关系抽取系统进行了全面研究，并创建了包含 8 个 RE 数据集的基准，示范了不同的方法与结合的影响，结果表明虽然基于提示的调整有助于低资源 RE，但在从跨句子上下文中提取多个关系三元组时仍有很大改善潜力，数据增强与自我训练可以较好地充实现有基准，并可带来很多性能提升，然而自我训练并不能始终实现低资源关系抽取的进步。

    Oct, 2022

  • 一种简单易行的实体和关系抽取方法

    本研究提出了一种简单的流水线方法来进行实体和关系抽取，并在标准基准测试中确立了新的最佳结果，通过对实体和关系进行不同的上下文表示，融合实体信息来提高性能，同时在全局上下文中引入信息以提高准确性。

    Oct, 2020

  • 关系抽取在临床文档理解中的应用

    该文介绍了一种文本挖掘框架，利用 Named Entity Recognition 和 Relation Extraction 模型对医学文献和数字临床记录进行处理，取得优异的实验结果，并构建了一个生物医学知识图谱。系统使用 Spark NLP 库提供的生产级、可伸缩、硬件优化、可训练和可调整的 NLP 框架。

    Dec, 2021

  • EnzChemRED，一个丰富的酶化学关系提取数据集

    通过 EnzChemRED 数据集，利用大型语言模型等自然语言处理方法可以显著提高识别文本中的蛋白质和化学品提及以及提取它们参与的化学转化的能力，该数据集位于 PubMed 摘要中，旨在支持酶的修饰。

    Apr, 2024

  • 基于 BioRelEx 的实体标记及关系抽取的基准测试

    通过对生物实体及其关系进行比对和基准测试，本研究发现：基于跨界多任务体系结构的提取方法和加入预训练相关领域信息可显著提高生物实体标记和关系提取的准确性。

    May, 2020

  • 终止无效比较：端到端关系抽取

    本文针对目前关系提取领域中性能比较不可靠的问题，提出了一些无效比较的模式，并进行了实证研究来量化最常见错误对最终关系提取性能的影响，揭示了 BERT 和 span-level NER 的不足。本文强调在评估环节中应统一评估设置和数据集统计，并呼吁在 end-to-end 关系提取领域建立公认的评估标准。

    Sep, 2020

  • 我们应该依赖实体提及来进行关系抽取吗？通过反事实分析消除关系抽取偏差

    本文提出了一种名为 CORE 的反事实分析方法，通过构造关系提取器的因果图，并在其上进行反事实分析来捕捉和减少实体偏置。该方法不会改变现有 RE 系统的训练过程，极大地提高了 RE 的效率和概括能力。

    May, 2022