ACLJun, 2019

使用预先训练的 Transformer 语言模型对远程监督关系提取进行微调

PDF
TL;DR本文介绍了利用预训练语言模型 GPT 进行远程监督关系抽取，通过 fine-tuning 在 NYT10 数据集上实现了更多种类关系的高准确率预测，AUC 分数达到了 0.422，并且在高召回率水平下表现尤为出色。
distantly supervised relation extractionnoisy labelspre-trained language modelgptstate-of-the-art results
发现论文，激发创造
  • 无监督关系抽取的深度双向转换器

    使用句法分析和预先训练的词嵌入技术，在缺乏任何形式监督的情况下，提取少量精确关系，用于注释更大的语料库，并在生物医学领域的四个数据集上通过微调预先训练的 BERT 模型进行关系抽取实验表明，与无监督关系提取的两个简单的基线相比，我们的方法显著优于两个简单的基线，即使不使用任何监督，也获得了三个数据集中的最先进结果之一；更重要的是，我们证明了使用噪声数据可以成功地对大型预先训练的语言模型进行微调，而不是依赖于黄金数据进行微调。

    Nov, 2019

  • 使用预训练语言表示优化关系提取

    使用 TACRED 及 SemEval 2010 Task 8 数据集，TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型，从文本语料库中自动学习隐式语言特征并显著提高样本效率，从而实现了关系提取任务的新的最优结果。

    Jun, 2019

  • 基于预训练大型语言模型的超关系知识图谱构建

    使用基于 OpenAI 的 GPT-3.5 模型的零样本提示方法，从文本中提取超关系知识。与基准线进行比较，取得了有希望的结果，召回率为 0.77。尽管精确性目前较低，模型输出的详细分析揭示了未来研究领域的潜在路径。

    Mar, 2024

  • 远程监督在时态关系抽取中的有效应用

    本研究提出了一种自动收集时间关系远程监督例子的方法，通过掩盖文本中明确的时间提示信号，训练出的模型能够学习到其他信号，实验表明预训练的 Transformer 模型能够通过这些弱标注的例子，在零样本和少样本情况下转移学习到具有人工注释的基准，并且遮罩方案对于改善泛化能力很重要。

    Oct, 2020

  • 大语言模型时代下关系抽取的再审视

    本文探讨了利用 GPT-3 和 Flan-T5 等大型语言模型来进行关系提取（RE）的问题，通过将关系线性化生成目标字符串的方法进行了序列到序列的任务处理，通过人工评估的方式，在不同程度的监督下评估了它们在标准 RE 任务中的表现，发现通过 GPT-3 进行的少量提示与现有完全监督模型大致相当，而使用 Chain-of-Thought 风格的解释进一步监督和微调后，该模型产生了最优结果。

    May, 2023

  • GPT-RE：利用大型语言模型进行关系抽取的上下文学习

    本研究介绍了 GPT-RE，这是一种解决大型语言模型在关系提取中局限性的方法，包括任务特定实体表现的使用和黄金标签引导推理逻辑的使用。该方法在四个数据集上的实验结果表明其超过了 GPT-3 基线并且在 Semeval 和 SciERC 数据集上实现了 SOTA 表现。

    May, 2023

  • 应用内部句子噪声降低和转移学习的神经关系抽取

    通过引入 Sub-Tree Parse 和基于迁移学习的先验知识，我们提出了一种新的基于词级级别远程监督的关系提取方法，可以从自动构建的包含噪声词语的低质量句子数据集中提取关系，实验结果表明我们的方法相对现有最优工作提高了 Precision/Recall (PR) 的面积从 0.35 到 0.39.

    Aug, 2018

  • 基于预训练语言模型的上下文小样本关系抽取

    通过预训练的语言模型，我们提出了一种新颖的在上下文中进行少样本关系抽取的框架，该框架可以消除命名实体识别和人工注释文档的需要，并实现了与现有方法相比最先进的性能。

    Oct, 2023

  • 如何释放大型语言模型在少样本关系提取上的能力？

    本文研究使用大语言模型的 few-shot 关系抽取的方法，着重考察了上下文学习和数据生成技术，并通过实验发现，与之前的提示学习方法相比，上下文学习方法可以获得与之类似的效果，而大语言模型的数据生成方法可以帮助基于先前解决方法获得一些状态 - of-art 的结果。

    May, 2023

  • 引导的远程监督多语言关系抽取数据：适应新语言

    应用引导远程监督方法创建了一个包含超过 8 万个实例和 9 种关系类型的德语生物关系抽取数据集，同时还创建了一个手动注释的用于评估模型的数据集，并在自动创建的数据集上训练了几种先进机器学习模型和进行多语言和跨语言实验。

    Mar, 2024