Feb, 2024

Me LLaMA: 基于大型语言模型的医疗应用基础

PDF
TL;DR这项研究介绍了 Me LLaMA，这是一个医学领域的大型语言模型（LLM）家族，包括基础模型 Me LLaMA 13/70B 和增强聊天版本 Me LLaMA 13/70B-chat。通过在大型医学数据上进行持续预训练和指导调整，Me LLaMA 模型在医学任务上表现优于其他医学 LLMs，适用于医学人工智能应用。
large language modelsmedical tasksme llamacontinual pre-trainingmedical ai applications
发现论文，激发创造
  • PMC-LLaMA：在医学论文中进一步微调 LLaMA

    介绍了 PMC-LLaMA, 一种在 4.8 百万篇生物医学论文上 fine-tuning 得到的语言模型，用于注入医学知识，提高在医学领域的性能，经过初步试验后在生物医学数据集上表现出更好的理解生物医学特定概念，在 QA 基准上表现出高性能。

    Apr, 2023

  • 用于复杂结构化医疗任务的本地大型语言模型

    本论文介绍了一种将大型语言模型（LLMs）的语言推理能力与本地训练的优势相结合的方法，以解决复杂的领域特定任务。通过从病理报告中提取结构化病情编码，作者演示了他们的方法。研究结果表明，基于 LLaMA 的模型在所有评估指标上明显优于 BERT 型模型，尤其在大型数据集上表现出色，为处理复杂的多标签任务提供了可能性。这项工作提出了一种有效的方法，利用 LLMs 在易于获得的硬件上执行领域特定任务，在需要复杂数据提取和分类的医学领域具有潜在应用。

    Aug, 2023

  • LLaMA：开放高效的基础语言模型

    介绍了 LLaMA，包含 7B 至 65B 个参数的基础语言模型，使用公开可用的数据集训练，其中 LLaMA-13B 在大多数基准测试中优于 GPT-3（175B），LLaMA-65B 等模型与最佳模型 Chinchilla-70B 和 PaLM-540B 相竞争。

    Feb, 2023

  • ChatDoctor：一个使用医疗领域知识对 LLaMA 模型进行微调的医疗聊天模型

    本论文提出了将现有的语言模型细调为医疗领域的医生 - 患者对话模型，以更好地理解患者需求、为医疗领域提供有价值的帮助，并将进一步开源相关数据、代码和模型来推进医疗领域的对话模型的发展。

    Mar, 2023

  • 医学中大型语言模型与多模态大型语言模型的综述

    该调查论文介绍了 LLMs 和 MLLMs 的发展背景和原则，并探讨了它们在医学中的应用场景、挑战和未来方向。通过追踪从传统模型到 LLMs 和 MLLMs 的演变，概括了模型结构以提供详细的基础知识。强调 LLMs 和 MLLMs 在医疗保健中的巨大价值，调查总结了 6 个有前景的医疗应用。同时讨论了医学 LLMs 和 MLLMs 面临的挑战，并提出了将人工智能与医学进一步整合的可行方法和方向。旨在为研究人员提供一个有价值且全面的参考指南。

    May, 2024

  • 医学中的大型语言模型调查：进展、应用和挑战

    大型语言模型（LLMs），如 ChatGPT，因其卓越的人类语言理解和生成能力而受到广泛关注。因此，在医学领域应用 LLMs 以协助医师和患者护理成为人工智能和临床医学中一个有前景的研究方向。本调查旨在全面介绍 LLMs 在医学领域目前的进展、应用和挑战，回答以下问题：1）LLMs 是什么以及如何构建医学 LLMs？2）医学 LLMs 的下游性能如何？3）如何在真实临床实践中利用医学 LLMs？4）使用医学 LLMs 会面临哪些挑战？5）如何更好地构建和利用医学 LLMs？因此，本调查旨在深入探讨 LLMs 在医学领域的机遇和挑战，为构建实际和有效的医学 LLMs 提供有价值的资源。可以在此网址找到医学 LLMs 实用指南资源的定期更新列表。

    Nov, 2023

  • 基于基准生物医学文本处理任务的大规模语言模型全面评估

    最近，大型语言模型 (LLM) 在解决各种任务方面展现了令人印象深刻的能力。然而，尽管在各种任务中取得了成功，但以前的研究尚未调查它们在生物医学领域的能力。为此，本文旨在评估 LLMs 在基准生物医学任务中的性能。为此，我们对 26 个数据集中 6 个不同生物医学任务的 4 种流行 LLMs 进行了全面评估。据我们所知，这是第一次在生物医学领域对各种 LLMs 进行广泛评估和比较。有趣的是，基于我们的评估结果我们发现，在具有较小训练集的生物医学数据集中，零次矫正的 LLMs 甚至在效果上超过了当前最先进的生物医学模型。这表明，在大型文本语料库上进行预训练使 LLMs 在生物医学领域具有了相当专业的能力。我们还发现，在所有任务中没有单个 LLM 能够胜过其他 LLMs，不同 LLMs 的性能可能会因任务而异。尽管与在大型训练集上进行精细调整的生物医学模型相比，它们的性能仍然相当差，但我们的研究结果表明，LLMs 在缺乏大规模注释数据的各种生物医学任务中具有潜在的价值工具。

    Oct, 2023

  • 面向专家级临床笔记生成的开源大型语言模型的适应性

    在本研究中，我们展示了一个小型开源语言模型（LLMs）可以有效地从门诊患者 - 医生对话中生成高质量的临床笔记，通过包括持续预训练、监督微调和强化学习在内的综合的领域和任务特定的自适应过程。我们通过增强方法 DistillDirect，以 Gemini Pro 作为教师模型，在策略上进行了强化学习。我们的研究证明了训练较小、开源的 LLMs 以辅助临床文档编写的潜力和可行性，充分利用医疗机构对患者记录和领域专业知识的访问。

    Apr, 2024

  • MedLM：探索面向医学问答系统的语言模型

    本研究通过比较一般性和专用于医学问答的精简语言模型的性能，旨在填补这方面的空白，并评估不同语言模型家族的性能，以探讨这些模型在医学问答领域的可靠性、比较性能和有效性，从而为不同语言模型在医学领域的特定应用提供有价值的见解。

    Jan, 2024

  • 医疗领域中的大型语言模型：综述

    大型语言模型在医疗保健领域的部署引发了热情和忧虑，本综述论文探讨了针对医疗保健应用设计的现有大型语言模型的功能，从传统的预训练语言模型到目前的医疗保健领域的大型语言模型发展轨迹，特别关注临床语言理解任务的潜力以及性能评估、挑战和限制。

    Dec, 2023