ACLMay, 2023

跨域关系抽取的银语法预训练

PDF
TL;DR本文介绍了基于句法结构和语义之间的亲缘关系，并据此进行中间预训练的关系抽取模型。通过使用相关句法关系进行预训练，不需要额外标注的情况下，该模型在六个跨域设置中有五个比基线模型表现更好。
relation extractionnlpsyntactic structuresemanticpre-training
发现论文，激发创造
  • CrossRE：一个跨领域的关系抽取数据集

    本文提出了一种新的跨领域关系抽取基准，并提供了元数据和多标签注释来帮助理解困难实例。作者通过在六个不同的文本领域上进行评估，评估了最先进的关系分类模型，发现跨领域关系抽取的困难性，为该方向的研究提供了新的数据集和启示。

    Oct, 2022

  • 持续对比微调改善低资源关系提取

    该论文介绍了一个用于解决低资源场景下关系抽取的方法，该方法基于自监督学习和对比学习，以一致的目标进行预训练和微调，在两个数据集上的实验表明，该方法在使用 1% 的数据时，较基于 PLM 的分类器分别提高了 10.5％和 5.8％的性能水平。

    Dec, 2022

  • WebRED: 基于 Web 的关系抽取的有效预训练和微调

    本文介绍了 WebRED (Web Relation Extraction Dataset)，这是一个由人类标注的数据集，用于从万维网上的各种文本中提取关系，并利用～200M 的预训练数据和微调技术在此任务上取得更好的表现。作者提供了该数据集的基线，并阐述了人工注释在改善从网络文本中提取关系的性能方面的重要性。

    Feb, 2021

  • 远程监督关系抽取综述：以去噪和预训练方法为重点

    关系抽取（RE）是自然语言处理的基础任务，本文综述了四个阶段的 RE 方法，包括模式匹配、统计、神经网络和大型语言模型，并着重介绍了现代 RE 方法的远程监控和去噪预训练方法。

    Jul, 2022

  • REflex: 在多个领域中灵活进行关系抽取的框架

    本文通过在三个常用数据集上的系统探索建立关系提取的统一框架，发现预处理对性能的影响巨大，且缺少信息会进一步阻碍公平比较，文章还就未来研究提出了建议。

    Jun, 2019

  • 大语言模型时代下关系抽取的再审视

    本文探讨了利用 GPT-3 和 Flan-T5 等大型语言模型来进行关系提取（RE）的问题，通过将关系线性化生成目标字符串的方法进行了序列到序列的任务处理，通过人工评估的方式，在不同程度的监督下评估了它们在标准 RE 任务中的表现，发现通过 GPT-3 进行的少量提示与现有完全监督模型大致相当，而使用 Chain-of-Thought 风格的解释进一步监督和微调后，该模型产生了最优结果。

    May, 2023

  • 使用预训练语言表示优化关系提取

    使用 TACRED 及 SemEval 2010 Task 8 数据集，TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型，从文本语料库中自动学习隐式语言特征并显著提高样本效率，从而实现了关系提取任务的新的最优结果。

    Jun, 2019

  • 把握要点：为零 shot 关系抽取量身定制大型语言模型

    通过使用语言模型生成初始种子实例并结合反馈进行改进，在关系抽取任务中实现零样本学习，取得了较基准方法更好的性能。

    Feb, 2024

  • 以实体为中心的跨文档关系抽取

    本论文提出基于实体的文档上下文过滤来构建输入并基于跨路径实体关系注意力的交叉文档关系提取模型，与现有方法比较，在 CodRED 数据集上取得至少 10％ 的 F1 值的提升，从而展示其在跨文档关系提取中的有效性。

    Oct, 2022

  • 具有不完全注释的关系抽取的适应性自训练

    本文提出了一种新的自适应重新采样自训练框架，采用精度和召回率对每个类别的伪标签进行重新采样，以增加整体召回率而不过多牺牲精度，并在文件级别和生物医学关系提取数据集上进行实验表明，所提出的自训练框架在数据集的不完全注释时比现有方法表现要好。

    Jun, 2023