Feb, 2024

SA-MDKIF：大规模语言模型的可扩展且适应性强的医学领域知识注入框架

PDF
TL;DR我们提出了 SA-MDKIF，它是一个可扩展和适应性强的框架，通过指令调整将医学知识注入通用语言模型，从而使其能够适应各种下游任务，实验证明 SA-MDKIF 相比原始的大型语言模型在医学任务中的性能提升了 10-20%，对于未见过的医学任务，性能提升高达 30%。
large language modelsmedical domainsa-mdkifmedical tasksinstructional datasets
发现论文，激发创造
  • KITLM：面向问题回答的领域特定知识整合语言模型

    通过将相关信息融入到语言模型中，我们提出了一种新颖的知识库融合方法 KITLM，显著提高了语言模型的性能，并在问题回答方面取得了 1.5 倍的改进。我们还发布了两个精选数据集，加快了在专业领域中的知识融合研究进展。

    Aug, 2023

  • JMedLoRA：使用指导调整的日语大型语言模型的医疗领域适应

    通过 LoRA-based instruction-tuning 来提高日本医学问答任务的性能，在多项选择题的评估中发现其可以部分地将领域特定知识整合到大型语言模型中，较大模型效果更显著，并突出了将英语为中心的模型适应于日本应用的潜力，同时也强调了日本为中心的模型的局限性，这一举措标志着在不依赖外部服务的情况下，医疗机构可以对模型进行精细调整和操作的先驱性努力。

    Oct, 2023

  • 运用适配器模块和知识图谱拓宽生物医学语言模型的知识增强

    本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

    Dec, 2023

  • MedCare: 通过解耦临床对齐和知识聚合推进医学课程主任

    通过渐进式微调流程，提出了一种基于知识聚合器和噪声聚合器的两阶段方法来解决医学领域中复杂多样的任务，并设计了 MedCare 医学 LLM 模型，在 20 多个医学任务以及特定医学对齐任务上取得了最先进的成果。

    Jun, 2024

  • MKA: 面向医疗对话任务的可扩展医疗知识辅助生成模型机制

    使用自然语言处理技术开发医疗聊天机器人在医疗人工智能中具有重要意义，本论文提出了可扩展的医疗知识辅助机制，通过设计医学特定的知识图谱和有效注入医学信息的特定令牌连接策略，实现了在医疗对话任务中改进性能。评估结果表明，结合该机制的模型在多个自动评估指标上优于原始方法，并且 MKA-Bert-GPT 实现了最先进的性能。

    Dec, 2023

  • medIKAL: 将知识图谱集成为 LLMs 助手，以增强 EMR 上的临床诊断

    整合知识图谱和大型语言模型的 medIKAL 框架能够通过对实体的加权重要性和路径重新排序等策略提升电子病历的诊断能力，为临床推理和诊断带来了新的突破。

    Jun, 2024

  • KALA: 知识增强语言模型适应

    本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

    Apr, 2022

  • 医学大型语言模型的事实知识和解释能力编辑

    提出了两项模型编辑研究并在医学领域进行了验证，同时观察到当前模型编辑方法在医学知识的专业化和复杂性方面存在困难。因此，提出了一种用于医学模型编辑的新型分层可扩展适配器策略 MedLaSA。通过因果追踪来确定神经元中知识的准确位置，并在 LLMs 的密集层引入可扩展适配器，这些适配器基于相应的特定知识分配缩放值。在医疗 LLMs 上进行的大量实验证明了 MedLaSA 的编辑效率，且不影响未编辑的无关知识。

    Feb, 2024

  • DALK：使用科学文献动态协同增强 LLMs 和 KG 来回答关于阿尔茨海默病的问题

    利用 DALK，一种 LLM 和 KG 相互增强的动态协同方法，我们将大规模语言模型应用于阿尔茨海默病领域，构建了一个与 AD 相关的知识图谱，并利用知识图谱增强 LLM 的推理能力，实验证明了其有效性。

    May, 2024

  • CALLA 数据集：探索 LLMs 对中医文献的互动知识获取

    使用 CALLA 数据集验证了以医学文献为基础的指导微调数据对大型语言模型在医学领域的知识获取能力、互动应用和准确性的促进作用。

    Sep, 2023