评估基于 BERT 的科学关系分类器在数字图书馆馆藏中用于学术知识图谱构建的效果

May, 2023

评估基于 BERT 的科学关系分类器在数字图书馆馆藏中用于学术知识图谱构建的效果

Evaluating BERT-based Scientific Relation Classifiers for Scholarly Knowledge Graph Construction on Digital Library Collections

PDF

Ming Jiang, Jennifer D'Souza, Sören Auer, J. Stephen Downie

TL;DR通过对三个语料库进行互相匹配，开展了 BERT 模型的实证研究。实验结果显示，与其他变量相比，该领域特定的预训练 BERT 变体最适合于关系检测任务，并且单次预测一个关系的策略通常比同时识别多个关系的策略表现更好，同时研究的结论还可以帮助数字图书馆利益相关者选择最佳的知识图谱辅助技术。

Abstract

The rapid growth of research publications has placed great demands on digital libraries (DL) for advanced information management technologies. To cater to these demands, techniques relying on knowledge-graph structures are being advocated. In such graph-based pipelines, inferring seman

digital libraries knowledge-graph structures bert-based models machine scanning scientific relations

发现论文，激发创造

生物医学关系抽取方法和模型比较及其在知识图谱构建中的应用

本研究介绍比较了在构建知识图谱中用于从生物医学文献中提取关系方面的一些基于规则和基于机器学习的方法，例如：朴素贝叶斯、随机森林、DistilBERT、PubMedBERT、T5、SciFive 等，通过实验检测不同方法的适用性和鲁棒性。结果表明，基于 transformers 的模型（如 PubMedBERT）在处理小型和不平衡的数据时表现较好。其中，在平衡数据上，PubMedBERT 模型的 F1 得分最高（0.92）。

Jan, 2022

增强的 BERT 嵌入用于学术出版物分类

本研究报告介绍了基于预训练语言模型的转移学习方法在学术文献分类中的运用。通过丰富数据集、使用不同的预训练语言模型，并调整超参数，研究发现 fine-tuning 预训练模型可以显著提高分类性能，其中 SPECTER2 模型效果最佳。此外，将额外的元数据加入数据集，尤其是来自 S2AG、OpenAlex 和 Crossref 的信息，可以进一步提高分类结果。本研究对于构建可靠的自动化学术出版物分类系统具有重要意义，为研究人员高效定位相关资源提供了潜在解决方案。

May, 2024

维基百科文章语义关系的两两多类文档分类

本研究旨在解决数字图书馆中文献推荐中相似文档关系的问题，我们将找到两个文档之间关系的问题建模为成对文档分类任务，并采用了一系列技术，如 GloVe，Paragraph-Vectors，BERT 和 XLNet 等不同配置进行实证分析，结果显示使用 BERT 作为最佳表现系统，该发现有助于推动基于此类技术的图书推荐系统的发展。

Mar, 2020

结合语言和图模型进行 Web 上的半结构化信息提取

关系抽取是一种从网络上挖掘人类知识的高效方式，本文提出了一种名为 GraphScholarBERT 的开放领域信息抽取方法，它能够从半结构化的网页中提取目标关系，并能在未见过的领域中进行泛化，无需额外数据或训练，并且与搜索关键词完全匹配。实验证明，GraphScholarBERT 在零射击域和零射击网站情境下，相比以往的方法，可以提高抽取的 F1 分数达 34.8%。

Feb, 2024

基于 Transformer 模型的临床关系提取

研究比较了 BERT、RoBERTa 和 XLNet 三种 transformer 模型在临床关系抽取方面的性能，发现 RoBERTa-clinical 以 0.8958 的 F1-score 在 2018 MADE1.0 数据集上表现最好，XLNet-clinical 以 0.9610 的 F1-score 在 2018 n2c2 数据集上表现最好。在生物医学领域中，研究者们可以使用我们开发的开源工具包进行进一步的相关 NLP 任务分析。

Jul, 2021

利用基于 BERT 的模型推动跨学科研究：通过 SciBERT-CNN 与主题建模的方法

该论文介绍了一种使用 SciBERT 模型和 CNN 的新方法，通过处理摘要、正文、标题和关键词等多个部分，以解决多标签文本分类中的语义关系和类别不平衡问题，并在文献综述效率方面取得显著改进。

Apr, 2024

简单的 BERT 模型用于关系抽取和语义角色标注

本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

Apr, 2019

学术知识图谱补全的三元分类

本文提出了一种利用预训练的 transformer 语言模型来执行学术知识图谱补全的方法 ——exBERT，并在三个学术知识图谱完成数据集上表现优异，还提供了两个学术数据集作为资源。

Nov, 2021

利用实体信息丰富预训练语言模型用于关系分类

本研究提出了一种模型，结合了预训练的 BERT 语言模型和目标实体信息，来解决关系分类任务。通过定位目标实体和在预训练模型中传递信息，并整合两个实体的相应编码信息，我们在 SemEval-2010 任务 8 关系数据集上取得了显著的改进。

May, 2019

BERT 的归纳关系预测

本文提出了一种名为 BERTRL 的解决方案，该方案使用预训练语言模型和 fine-tuning，通过将关系实例及其可能的推理路径作为训练样本，支持归纳学习并在 15 个应用中超越现有技术。

Mar, 2021