Feb, 2021

通过 BERT 基于标签和实例嵌入来提高远程监督关系抽取

PDF
TL;DR提出 REDSandT (一种使用远程监督和转换器的关系抽取方法)，通过利用 BERT 的预训练模型和标签与实体之间的关系，以高度信息的实例和标签嵌入来捕获更广泛的关系，并通过标签嵌入作为注意机制以进一步减少噪声，最终通过将关系和实例嵌入连接来表示句子，实现其对具有更高置信度的更广泛关系的捕获。
relation extractiondistant supervisiontransformer-basedbertlabel embeddings
发现论文，激发创造
  • 一种基于数据驱动的方法用于远程监督下的生物医学关系抽取中的噪声削减

    使用多实例学习和 BERT 模型，我们提出了一个简单的数据编码方案，以降低噪音并获得了远程监控生物医学关系提取的最新性能，同时进一步编码关于关系三元组方向的知识，从而减少噪音并减轻了与知识图完成的联合学习的需要。

    May, 2020

  • 使用 BERT 和侧边信息进行远程监督神经关系提取

    使用 Bert 嵌入简化句子编码来提升知识库辅助的关系抽取模型，可以在谷歌远程监督和 Riedel 数据集上优于传统方法，尤其是 P@N 结果表明 BERT 作为句子编码的使用可以优化结果。

    Apr, 2020

  • 深度强化学习下的强健远程监督关系抽取

    研究利用深度强化学习策略生成假阳性指标解决远程监督产生的噪声，进而将它们分配为负面样本以解决误报问题，实验表明该方法显著提高了远程监督方法的性能。

    May, 2018

  • 远程监督关系抽取综述：以去噪和预训练方法为重点

    关系抽取（RE）是自然语言处理的基础任务，本文综述了四个阶段的 RE 方法，包括模式匹配、统计、神经网络和大型语言模型，并着重介绍了现代 RE 方法的远程监控和去噪预训练方法。

    Jul, 2022

  • 自然语言推理提升远程监督关系抽取

    本文提出了一种新的 DSRE-NLI 框架，该框架利用现有知识库的远程监督和预训练语言模型的间接监督，通过半自动关系语言表达机制为间接监督提供能量，进而巩固远程注释以便于多分类 RE 模型，并通过数据整合策略实现训练数据的质量提高，大量实验证明该框架显著提高了远程监督 RE 基准数据集的性能（高达 7.73％的 F1）

    Jul, 2022

  • 无监督关系抽取的深度双向转换器

    使用句法分析和预先训练的词嵌入技术，在缺乏任何形式监督的情况下，提取少量精确关系，用于注释更大的语料库，并在生物医学领域的四个数据集上通过微调预先训练的 BERT 模型进行关系抽取实验表明，与无监督关系提取的两个简单的基线相比，我们的方法显著优于两个简单的基线，即使不使用任何监督，也获得了三个数据集中的最先进结果之一；更重要的是，我们证明了使用噪声数据可以成功地对大型预先训练的语言模型进行微调，而不是依赖于黄金数据进行微调。

    Nov, 2019

  • 通过实例级对抗训练对关系抽取的远程监督进行去噪

    本研究提出了一种新型的对抗训练机制用于关系提取，以减轻噪音问题，并在大规模基准数据集上进行了实验，表明我们的去噪方法可以有效过滤出嘈杂的实例，并与现有模型相比实现了显著的改进。

    May, 2018

  • 使用预先训练的 Transformer 语言模型对远程监督关系提取进行微调

    本文介绍了利用预训练语言模型 GPT 进行远程监督关系抽取，通过 fine-tuning 在 NYT10 数据集上实现了更多种类关系的高准确率预测，AUC 分数达到了 0.422，并且在高召回率水平下表现尤为出色。

    Jun, 2019

  • 从表格实体对中利用二跳远程监督的关系抽取

    本文提出了一种新的关系抽取策略 ——2-hop DS，结合多层感知器和整合 1-hop DS 和 2-hop DS 提高了远程监督下的关系抽取效果。

    Sep, 2019

  • 利用线性衰减模拟和非独立同分布关联嵌入的远程监督关系抽取

    这篇研究提出了一种新方法来解决采用遥测监督的关系抽取中存在的问题，包括在句子中选择重要单词和提取有效句子等问题。该方法引入了线性衰减模拟和非独立同分布相关性嵌入两个新的概念来解决这些问题，在基准数据集上的实验表明，该方法能够有效地提取隐藏关系的复杂信息和实例间的相互信息。

    Dec, 2018