Nov, 2019

无监督关系抽取的深度双向转换器

PDF
TL;DR使用句法分析和预先训练的词嵌入技术，在缺乏任何形式监督的情况下，提取少量精确关系，用于注释更大的语料库，并在生物医学领域的四个数据集上通过微调预先训练的 BERT 模型进行关系抽取实验表明，与无监督关系提取的两个简单的基线相比，我们的方法显著优于两个简单的基线，即使不使用任何监督，也获得了三个数据集中的最先进结果之一；更重要的是，我们证明了使用噪声数据可以成功地对大型预先训练的语言模型进行微调，而不是依赖于黄金数据进行微调。
发现论文，激发创造
  • 使用预先训练的 Transformer 语言模型对远程监督关系提取进行微调

    本文介绍了利用预训练语言模型 GPT 进行远程监督关系抽取，通过 fine-tuning 在 NYT10 数据集上实现了更多种类关系的高准确率预测，AUC 分数达到了 0.422，并且在高召回率水平下表现尤为出色。

    Jun, 2019

  • 基于预训练语言模型的上下文小样本关系抽取

    通过预训练的语言模型，我们提出了一种新颖的在上下文中进行少样本关系抽取的框架，该框架可以消除命名实体识别和人工注释文档的需要，并实现了与现有方法相比最先进的性能。

    Oct, 2023

  • 远程监督在时态关系抽取中的有效应用

    本研究提出了一种自动收集时间关系远程监督例子的方法，通过掩盖文本中明确的时间提示信号，训练出的模型能够学习到其他信号，实验表明预训练的 Transformer 模型能够通过这些弱标注的例子，在零样本和少样本情况下转移学习到具有人工注释的基准，并且遮罩方案对于改善泛化能力很重要。

    Oct, 2020

  • 一种基于数据驱动的方法用于远程监督下的生物医学关系抽取中的噪声削减

    使用多实例学习和 BERT 模型，我们提出了一个简单的数据编码方案，以降低噪音并获得了远程监控生物医学关系提取的最新性能，同时进一步编码关于关系三元组方向的知识，从而减少噪音并减轻了与知识图完成的联合学习的需要。

    May, 2020

  • 跨句远程监督关系抽取

    本研究提出了首个远程监督应用于跨句关系抽取的方法，基于图形表示从多条路径中提取特征，实验表明我们的方法可以学习一种准确的跨句提取器，并提取了两倍于现有远程监督范例的关系，从而证明了跨句关系的普遍存在和本方法的优越性。

    Sep, 2016

  • 使用预训练语言表示优化关系提取

    使用 TACRED 及 SemEval 2010 Task 8 数据集，TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型，从文本语料库中自动学习隐式语言特征并显著提高样本效率，从而实现了关系提取任务的新的最优结果。

    Jun, 2019

  • 简单的 BERT 模型用于关系抽取和语义角色标注

    本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

    Apr, 2019

  • 应用内部句子噪声降低和转移学习的神经关系抽取

    通过引入 Sub-Tree Parse 和基于迁移学习的先验知识，我们提出了一种新的基于词级级别远程监督的关系提取方法，可以从自动构建的包含噪声词语的低质量句子数据集中提取关系，实验结果表明我们的方法相对现有最优工作提高了 Precision/Recall (PR) 的面积从 0.35 到 0.39.

    Aug, 2018

  • 基于结构化最小监督学习的神经关系抽取

    通过结合学习表示和结构化学习的优点，我们提出了一种最小监督关系抽取方法，可以在知识库提供的命题级监督下，准确地预测句子级别的关系提及。通过在学习期间明确地推理有关缺失数据，我们的方法能够在缓解远程监督的标签噪声的同时进行大规模的一维卷积神经网络训练。我们的方法在最小监督下的句子关系抽取方面实现了最新的成果，优于许多基线方法，包括仅使用神经模型的注意层的竞争方法。

    Mar, 2019

  • 面向文档级关系抽取的模块化自监督

    该研究提出了一种将文档级关系抽取分解成关系检测和参数分辨的方法，利用显式语篇建模和模块化自我监督来进行改进，并在生物医学阅读中进行了细致的评估，其方法优于以往的最先进技术。

    Sep, 2021