大型语言模型是否能补充医学本体中缺失的概念和关系?
通过注入本体知识来改进嵌入式大语言模型(embedding-LLM),本研究利用广泛的本体使用和基于对照学习框架,通过医学疾病本体的生物医学文档,展示了提高嵌入式 LLM 在描述疾病领域中的相似性评估能力的实验结果。
May, 2024
我们在本研究中探讨了大型语言模型在补充生物医学知识图谱中的潜力,通过利用 UMLS 知识图谱和先进的大型语言模型,我们提出了一种新的先进方法,通过改进的对比学习阶段、新颖的自蒸馏阶段和权重平均化阶段,获得了生物医学概念和句子的高保真度表示。通过对 BioLORD 测试套件的严格评估和多样化的下游任务,我们证明了与以往先进技术相比的一致且显著的性能改进(例如,在 MedSTS 上提高了 2 点,在 MedNLI-S 上提高了 2.5 点,在 EHR-Rel-B 上提高了 6.1 点)。除了我们的新型英文生物医学模型外,我们还蒸馏并发布了与 50 多种语言兼容并在 7 种欧洲语言上进行了微调的多语言模型。我们最新的模型可以使许多临床流程受益,开启了生物医学语义表示学习在多种语言中发展的新途径,为全球的生物信息学研究人员提供了宝贵的工具。因此,我们希望看到 BioLORD-2023 成为未来生物医学应用的宝贵工具。
Nov, 2023
该研究旨在探讨基于大型模型的上下文学习能力,应用检索与排名框架的方法,以实现生物医学概念链接,并在 BC5CDR 疾病实体标准化和化学实体标准化方面取得了 90% 和 94.7% 的准确率,相对于监督学习方法表现出竞争力, F1 分数有 20 个绝对点的显著提高,深入评估了在生物医学领域使用大型语言模型的优点和潜在局限性。
Jul, 2023
我们提出了 LLMs4OL 方法,利用大型语言模型(LLMs)进行本体学习(OL)。通过全面评估使用零训练样例提示方法,我们发现 LLMs 可以有效地应用其语言模式捕捉能力于 OL,该能力包括从自然语言文本中自动提取和结构化知识。评估涵盖了对三个主要的 OL 任务进行九种不同的 LLM 模型家族的评估,包括术语类型化,分类系统发现以及非分类关系的提取,并包含了 WordNet 中的词汇语义知识,GeoNames 中的地理知识以及 UMLS 中的医学知识等多种类型的本体知识。
Jul, 2023
通过使用专有和开源的大型语言模型(LLMs)与生物医学研究中常用的多种基于规则的归一化系统相结合,提高实体归一化性能并消除了需要微调的需要。
May, 2024
通过查询大型语言模型,我们提出了一种用于自动构建给定领域概念层级的方法,我们使用 OpenAI 的 GPT 3.5 将该方法应用于不同领域,实验证明 LLM 在构建概念层级方面具有相当的帮助。
Sep, 2023
通过自动将自然语言句子转化为描述逻辑,我们使用大型语言模型将自然语言句子转换为 OWL 功能语法,用于丰富本体论,并通过人类监督的方式提供该工具作为 Protge 插件。
Jul, 2023