本研究介绍比较了在构建知识图谱中用于从生物医学文献中提取关系方面的一些基于规则和基于机器学习的方法，例如：朴素贝叶斯、随机森林、DistilBERT、PubMedBERT、T5、SciFive 等，通过实验检测不同方法的适用性和鲁棒性。结果表明，基于 transformers 的模型（如 PubMedBERT）在处理小型和不平衡的数据时表现较好。其中，在平衡数据上，PubMedBERT 模型的 F1 得分最高（0.92）。

Jan, 2022

本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

Sep, 2019

为了解决医疗文本中医学术语、文本类型等多样性问题，我们提出一种名为 KG-MTT-BERT 的模型，通过医疗知识图谱的整合，拓展了 BERT 模型，可以更好地处理长文本和多类型文本，并在 DRG 分类等任务上表现优异。

Oct, 2022

这篇论文介绍了 SimpleGermKG，一种自动构建知识图谱的方法，该方法连接了生殖祖细胞基因和疾病。通过使用生物医学语料库上预训练的 BERT 模型 BioBERT，提取基因和疾病，并提出本体基于和规则基于算法对医学术语进行标准化和消歧。为了表示语义关系，采用了部分 - 整体关系方法将每个实体与其数据源连接，并以图形表示形式进行可视化。最后，讨论了知识图谱的应用、限制和未来对生殖细胞语料库的研究挑战，并展示了结果的图形可视化。

Sep, 2023

本文提出了一种集成多种模型的混合方法，以解决生物医学实体识别中的局限性，并在 i2b2/2010 数据集上评估，得到了 90.11 的 F1 分数。

Dec, 2023

我们引入了一种新颖的轻量级基于图的嵌入方法，特别适用于放射学报告，通过多语言 SNOMED 临床术语知识库连接报告中的医学术语，揭示了临床术语之间的潜在关系，实现了更好地理解和临床准确性的表示，而不依赖于大规模预训练数据集。我们展示了这种嵌入方法在 X 光报告的疾病分类和图像分类两个任务上的应用，并且相较于基于 BERT 的模型，在体积和训练数据需求方面要小得多。同时，我们展示了图嵌入方法如何利用跨模态知识传递，在不同语言之间具有可用性。

Sep, 2023

本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

Aug, 2019

通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

Jul, 2023

本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

Jul, 2021

这篇研究论文探讨了如何使用自然语言问答，相结合的语言模型和 KG 嵌入来回答生物学家们所提出的一系列自由形式的问题，其 KG 数据集来源于 Hetionet，并利用该数据集创建一个多跳生物医学问答数据集以测试多跳生物医学问答系统。

Nov, 2022