Apr, 2020

使用 BERT 和侧边信息进行远程监督神经关系提取

PDF
TL;DR使用 Bert 嵌入简化句子编码来提升知识库辅助的关系抽取模型，可以在谷歌远程监督和 Riedel 数据集上优于传统方法，尤其是 P@N 结果表明 BERT 作为句子编码的使用可以优化结果。
relation extractiondistant supervisionreside modelkb side informationbert embeddings
发现论文，激发创造
  • 利用侧面信息改进远程监控神经关系提取的 RESIDE 方法

    本文提出了一种名为 RESIDE 的远程监督神经关系提取方法，利用知识库中的实体类型和关系别名信息来提高关系提取的准确率。通过使用图卷积网络将句法信息编码，即使在有限的附属信息可用时，也可以提高其性能。通过对基准数据集进行广泛的实验证明了 RESIDE 的有效性，并将其源代码公开以促进可重复研究。

    Dec, 2018

  • 通过 BERT 基于标签和实例嵌入来提高远程监督关系抽取

    提出 REDSandT (一种使用远程监督和转换器的关系抽取方法)，通过利用 BERT 的预训练模型和标签与实体之间的关系，以高度信息的实例和标签嵌入来捕获更广泛的关系，并通过标签嵌入作为注意机制以进一步减少噪声，最终通过将关系和实例嵌入连接来表示句子，实现其对具有更高置信度的更广泛关系的捕获。

    Feb, 2021

  • 自然语言推理提升远程监督关系抽取

    本文提出了一种新的 DSRE-NLI 框架，该框架利用现有知识库的远程监督和预训练语言模型的间接监督，通过半自动关系语言表达机制为间接监督提供能量，进而巩固远程注释以便于多分类 RE 模型，并通过数据整合策略实现训练数据的质量提高，大量实验证明该框架显著提高了远程监督 RE 基准数据集的性能（高达 7.73％的 F1）

    Jul, 2022

  • 基于单词和实体级别注意力机制的远程监督下关系抽取技术的改进

    本论文介绍了两种新的用于远程监督下关系抽取的单词注意模型，同时提出了一种组合模型，并在多个真实数据集上进行了广泛的实验来证明这些方法的有效性。

    Apr, 2018

  • 远程监督关系抽取综述：以去噪和预训练方法为重点

    关系抽取（RE）是自然语言处理的基础任务，本文综述了四个阶段的 RE 方法，包括模式匹配、统计、神经网络和大型语言模型，并着重介绍了现代 RE 方法的远程监控和去噪预训练方法。

    Jul, 2022

  • PARE: 用于单语和多语言远程监督关系提取的简单而强大的基准模型

    研究了一种简单的基线方法 (PARE)，将实体对袋子中的所有句子连接成一个句子段，并使用 BERT 进行联合编码，使用候选关系作为查询，通过注意力聚合令牌的上下文嵌入，预测 candidate 关系。实验结果表明，这个简单的基线模型在单语和多语远程监督关系提取数据集中胜过现有的 SOTA 模型。

    Oct, 2021

  • 利用远程监督与人工标注的双重监督框架进行关系提取

    本研究提出了一种双重监督框架，旨在有效利用人工标注数据和远程监督数据来训练关系抽取模型，以应对不同类型的监督数据。该模型采用两种不同的预测网络，分别用于预测人工标注和远程监督标签，并引入不一致性惩罚机制进行优化，实现了更高的抽取精度。

    Nov, 2020

  • 基于句子重建和知识库先验的远程监督关系抽取

    通过联合训练关系分类器和变分自编码器，结合知识库的概念，实现了利用多任务的概率方法来促进远程监督关系提取，从而有望在 NLP 领域取得更好的性能与可解释性。

    Apr, 2021

  • 最近邻关系抽取：拯救隐式和长尾情况

    介绍一种使用 $k$ 最近邻进行增强的关系提取方法 $k$NN-RE，可以在测试时间通过最近邻搜索查阅训练关系，并提供了一种简单却有效的方法来解决由于语言复杂性和数据稀疏性引起的隐式表达和长尾关系类型的两个问题，并且观察到 $k$NN-RE 是利用远程监督（DS）数据进行 RE 的有效方法。在 ACE05、SciERC 和 Wiki80 等多种受控制的 RE 数据集上，提出的 $k$NN-RE 取得了最高水平的性能，并在允许使用 DS 的情况下在 i2b2 和 Wiki80 数据集上优于迄今为止最好的模型。

    Oct, 2022

  • 从表格实体对中利用二跳远程监督的关系抽取

    本文提出了一种新的关系抽取策略 ——2-hop DS，结合多层感知器和整合 1-hop DS 和 2-hop DS 提高了远程监督下的关系抽取效果。

    Sep, 2019