结合对比学习和知识图谱嵌入开发意大利语医学词嵌入

Nov, 2022

结合对比学习和知识图谱嵌入开发意大利语医学词嵌入

Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language

PDF

Denys Amore Bondarenko, Roger Ferrod, Luigi Di Caro

TL;DR通过对比学习和知识图谱嵌入的结合，尝试提高意大利医学领域中可用的词嵌入，从而提高医学术语之间的语义相似性，并获得了比起始模型显著的性能提升。

Abstract

word embeddings play a significant role in today's Natural Language Processing tasks and applications. While pre-trained models may be directly employed and integrated into existing pipelines, they are often fine-tuned to better fit with specific languages or domains. In this paper, we

word embeddings natural language processing italian medical domain contrastive learning knowledge graph embedding

发现论文，激发创造

医疗关系预测的基于节点的知识图对比学习

本文提出了一种基于节点的对比学习方法 NC-KGE，通过在知识图谱上构建适当的对比节点对来提升嵌入和加速训练收敛，并通过加入关系感知注意机制对生物医药关系预测任务进行了改进，实验证明 NC-KGE 在公共数据集和生物医药数据集上具有竞争力并且在预测药物组合关系方面优于其他模型。

Oct, 2023

利用知识图谱将领域知识融入医疗自然语言推理

本文研究如何将医学语言模型（BioELMo）的结构与医学任务中可用的知识图谱（UMLS）进行融合，通过实验验证结论表明融合策略不仅仅是可以改善 MedNLI 数据集上的 BioELMo 模型的基线表现，而且在医疗领域的任务中也导致了最前沿的结果。

Aug, 2019

生物医学知识图谱嵌入的基准与最佳实践

利用知识图谱嵌入学习方法，探索在 SNOMED-CT 知识图谱中学习生物医学知识表征的能力，提供性能测试及最佳实践，并强调利用知识图谱多关系特性学习知识表征的重要性。

Jun, 2020

基于关系对称性的知识图谱对比学习

本文介绍了一种基于关系对称结构的知识图谱对比学习框架 KGE-SymCL，通过设计可插拔的方法将关系对称位置中的实体作为正样本用于对比学习，同时使用自监督对齐损失来使构建的样本对更加相似，实验结果表明该框架具有很好的泛化能力和优越性。

Nov, 2022

多语言结构化放射学报告的知识图谱嵌入

我们引入了一种新颖的轻量级基于图的嵌入方法，特别适用于放射学报告，通过多语言 SNOMED 临床术语知识库连接报告中的医学术语，揭示了临床术语之间的潜在关系，实现了更好地理解和临床准确性的表示，而不依赖于大规模预训练数据集。我们展示了这种嵌入方法在 X 光报告的疾病分类和图像分类两个任务上的应用，并且相较于基于 BERT 的模型，在体积和训练数据需求方面要小得多。同时，我们展示了图嵌入方法如何利用跨模态知识传递，在不同语言之间具有可用性。

Sep, 2023

医学语言嵌入的知识转移

该研究使用分布语义学将结构化知识图谱与非结构化文本相结合，利用概率生成模型预测医学概念之间的新关系，进一步证明该方法可用于医学领域的数据稀缺性问题。

Feb, 2016

从大规模多模态医学数据中学习的临床概念嵌入

使用大规模多模态医疗数据集，本文提出了一种新的 cui2vec 医疗概念词嵌入模型，并通过统计功率法进行了评估，结果表明该模型在大多数情况下相对于之前的方法具有最先进的性能。

Apr, 2018

使用知识图谱嵌入和语言模型进行生物医学多跳问答

这篇研究论文探讨了如何使用自然语言问答，相结合的语言模型和 KG 嵌入来回答生物学家们所提出的一系列自由形式的问题，其 KG 数据集来源于 Hetionet，并利用该数据集创建一个多跳生物医学问答数据集以测试多跳生物医学问答系统。

Nov, 2022

知识图谱嵌入：概述

本文综述了知识图谱完成中的当前研究状态，特别关注了知识图谱嵌入设计的两个主要分支：基于距离的方法和基于语义匹配的方法，并探讨了与最近提出的模型之间的关联及其背后的趋势，最后讨论了利用预训练语言模型和实体关系的文本描述相结合进行知识图谱完成的新方法。

Sep, 2023

学习细粒度术语表示的自动生物医学术语聚类

CODER++ 使用动态难样本在对比学习中提供细粒度的表示，从而在生物医学术语聚类方面取得更好的效果，应用于 BIOS 的生物医学概念聚类中。

Apr, 2022