Jun, 2024

低资源关系抽取的端到端可训练软提取器

PDF
TL;DR通过使用神经引导方法，我们提出了一种新颖的端到端可训练软最近邻推断器（ETRASK）来解决实例关系抽取中面临的非可微性问题，该方法通过软、可微分的选择 K 个最近实例进行可训练，从而在目标任务中实现了推断器的端到端训练，实验证明我们的方法在提升关系抽取性能方面非常有效，尤其在资源有限的环境中。
instance-based relation extractionend-to-end trainingneural prompting methodlow-resource settingrelation extraction performance
发现论文，激发创造
  • 最近邻关系抽取：拯救隐式和长尾情况

    介绍一种使用 $k$ 最近邻进行增强的关系提取方法 $k$NN-RE，可以在测试时间通过最近邻搜索查阅训练关系，并提供了一种简单却有效的方法来解决由于语言复杂性和数据稀疏性引起的隐式表达和长尾关系类型的两个问题，并且观察到 $k$NN-RE 是利用远程监督（DS）数据进行 RE 的有效方法。在 ACE05、SciERC 和 Wiki80 等多种受控制的 RE 数据集上，提出的 $k$NN-RE 取得了最高水平的性能，并在允许使用 DS 的情况下在 i2b2 和 Wiki80 数据集上优于迄今为止最好的模型。

    Oct, 2022

  • 使用预训练语言表示优化关系提取

    使用 TACRED 及 SemEval 2010 Task 8 数据集，TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型，从文本语料库中自动学习隐式语言特征并显著提高样本效率，从而实现了关系提取任务的新的最优结果。

    Jun, 2019

  • 神经响应生成的检索增强对抗训练

    本文提出了 RETE 方式，使用检索方法来增强神经响应生成的对抗训练， 与当前方法不同的是，该方法采用编码器 - 解码器框架，在对抗训练范式中利用从检索系统获取的 N 个最佳响应候选构建鉴别器。一个基于大规模公共可用基准数据集的实证研究表明，REAT 方法明显优于普通 Seq2Seq 模型和传统的对抗性训练方法。

    Sep, 2018

  • 通过 BERT 基于标签和实例嵌入来提高远程监督关系抽取

    提出 REDSandT (一种使用远程监督和转换器的关系抽取方法)，通过利用 BERT 的预训练模型和标签与实体之间的关系，以高度信息的实例和标签嵌入来捕获更广泛的关系，并通过标签嵌入作为注意机制以进一步减少噪声，最终通过将关系和实例嵌入连接来表示句子，实现其对具有更高置信度的更广泛关系的捕获。

    Feb, 2021

  • REKnow：用于联合实体和关系提取的增强型知识

    本研究提出了一种知识增强的生成模型，能够前所未有地利用知识图谱来解决关系抽取问题中的歧义，显著提高了在多个基准测试和设置下的性能表现。

    Jun, 2022

  • 开放域问答的多文档阅读器和检索器的端到端训练

    提出了一种针对获取增强型开放领域问答系统的端到端可区分训练方法，它结合多个已检索文件的信息来生成答案，通过期望最大化算法的近似计算来建模检索决策，证明了该方法优于现有同类方法，达到了新的最高水平。

    Jun, 2021

  • 神经度量学习用于快速端到端关系抽取

    本文提出了一种新颖的神经架构，利用表格结构和二维卷积技术进行本地依赖特征池化，从而改善了以往的最佳性能，在不需要全局优化的前提下实现了端对端关系提取任务（包括命名实体识别和关系抽取），相较于之前最好的结果提高了约 1％的 F1 分数，并且训练和测试时间快 7 至 10 倍。

    May, 2019

  • 把检索视为注意力：单个 Transformer 内检索和阅读的端到端学习

    通过使用 Retrieval as Attention (ReAtt) 和 Transformer，我们的研究表明，通过端到端的培训，单个模型可以同时实现有竞争力的提取和问答表现，在监督和无监督的设置中显著提高其在超领域数据集上的性能。

    Dec, 2022

  • 检索增强的 Transformer-XL 用于闭域对话生成

    本研究提出了基于 Transformer 的多轮对话响应生成模型，采用新颖的检索机制，结合 k 最近邻搜索，基于 Google 发布的 Taskmaster-1 数据集和真实的客户服务呼叫中心数据集进行评估，结果优于强基线模型。

    May, 2021

  • 使用语法搜索和示例引导关系抽取器

    本文提出了一种用于快速启动训练数据集的过程，利用搜索引擎在句法图上获取正例，我们将此技术应用于 TACRED 和 DocRED 的关系，其结果模型与手动注释数据和远程监督方法所训练的模型相比具有竞争力，并且优于使用 NLG 数据增强技术所训练模型的模型。扩展基于搜索的方法使用 NLG 方法可以进一步提高结果。

    Feb, 2021