May, 2024

MedDoc-Bot：儿科高血压指南背景下的大型语言模型比较分析聊天工具

PDF
TL;DR这项研究评估了非商业开源大型语言模型（LLMs）Meditron，MedAlpaca，Mistral 和 Llama-2 在解释保存为 PDF 格式的医学指南方面的效力。研究开发了一个用户友好的医学文档聊天机器人工具（MedDoc-Bot），能够上传 PDF 文件并提出问题，从四个本地存储的 LLM 中生成解释性回复。研究发现，Llama-2 和 Mistral 在度量评估中表现良好，但 Llama-2 在处理文本和表格数据时较慢。
发现论文，激发创造
  • LLMs 在医学领域中能有效纠正医生吗？研究有效的交互方法

    利用大型语言模型（LLMs）协助和纠正医生在医疗决策任务中的潜力进行探索，研究评估了几个 LLMs，包括 Meditron、Llama2 和 Mistral，以分析这些模型在不同场景下与医生有效互动的能力，并认为提示设计显著影响 LLMs 的下游准确性，LLMs 能够为医生提供有价值的反馈，挑战错误诊断，促进更准确的决策，同时还揭示了确保 LLM 生成的建议相关和有用的挑战，强调了进一步研究的需求。

    Mar, 2024

  • 开源语言模型在医学文本数据摘要中的比较分析

    在医疗笔记和对话中，非结构化文本具有丰富的信息。最近大型语言模型（LLMs）的进展展示了对非结构化文本数据的问题回答和摘要任务的卓越性能，超过了传统的文本分析方法。然而，在文献中缺乏有系统地评估和报告不同 LLMs 性能的科学研究，特别是针对医疗病历等特定领域数据。我们提出了一种评估方法来分析开源 LLMs（如 Llama2 和 Mistral）在医疗摘要任务中的性能，使用 GPT-4 作为评估器。我们创新的 LLMs 定量评估方法可以实现质量控制，支持为特定任务选择有效的 LLMs，并推进数字健康领域的知识发现。

    May, 2024

  • BioMistral: 面向医学领域的一组开源的预训练大型语言模型

    BioMistral 是一个开源的、专门针对生物医学领域的大型语言模型，通过基于 Mistral 模型并在 PubMed Central 上进行进一步预训练来实现。我们在包含 10 个既定医疗问答任务的基准测试上对 BioMistral 进行了全面评估，同时探索了通过量化和模型合并方法获得的轻量级模型。我们的结果表明，与现有的开源医学模型相比，BioMistral 具有出色的性能，并且在与专有模型的竞争中有竞争优势。此外，为了解决英语以外数据的有限可用性，并评估医学领域中多语言的泛化能力，我们将该基准测试自动翻译和评估为其他 7 种语言。这标志着医学领域中大规模多语言评估的首次实现。在我们的实验中获得的数据集、多语言评估基准、脚本以及所有模型都可以免费获取。

    Feb, 2024

  • MEDITRON-70B：用于大型语言模型的医学预训练扩展

    通过发布具有 7B 和 70B 参数的开源 LLMs 套件 MEDITRON，我们改进了对大规模医学 LLMs 的访问，并在多个医学测试中显示出显著的性能提升。与闭源 LLMs 相比，MEDITRON-70B 在 GPT-3.5 和 Med-PaLM 上表现优异，并且与 GPT-4 和 Med-PaLM-2 相差不到 5% 和 10%。

    Nov, 2023

  • 评估中型语言模型在临床问答中的潜力

    比较了大型语言模型和中型开源模型在临床任务上的表现，发现 Mistral 7B 是表现最佳的模型，并且在临床问题回答任务和消费者查询回答任务上优于专门为生物医学领域训练的模型。

    Apr, 2024

  • ChatDoctor：一个使用医疗领域知识对 LLaMA 模型进行微调的医疗聊天模型

    本论文提出了将现有的语言模型细调为医疗领域的医生 - 患者对话模型，以更好地理解患者需求、为医疗领域提供有价值的帮助，并将进一步开源相关数据、代码和模型来推进医疗领域的对话模型的发展。

    Mar, 2023

  • 在沟通性医疗辅导中对大型语言模型进行基准测试：一种新的系统和数据集

    通过聊天对话系统，结合自然语言处理技术，开发出了一个医学交流技能辅导平台，有效帮助医学学习者提高沟通能力，并对比了使用不同的语言模型的效果。

    Feb, 2024

  • MedChatZH：一个更好的医疗顾问从更好的指南中学习

    使用生成型的大型语言模型，在中医问答领域表现令人不满意，本研究引入了一个专门为中医问答设计的对话模型 MedChatZH，该模型在中医经典著作上进行预训练，并结合医学指南数据进行精细调优，在真实的医学对话数据集上胜过了几个基线模型。我们在链接上发布了我们的模型、代码和数据集，以促进传统中医和大型语言模型领域的进一步研究。

    Sep, 2023

  • Me LLaMA: 基于大型语言模型的医疗应用基础

    这项研究介绍了 Me LLaMA，这是一个医学领域的大型语言模型（LLM）家族，包括基础模型 Me LLaMA 13/70B 和增强聊天版本 Me LLaMA 13/70B-chat。通过在大型医学数据上进行持续预训练和指导调整，Me LLaMA 模型在医学任务上表现优于其他医学 LLMs，适用于医学人工智能应用。

    Feb, 2024

  • 自动医疗记录生成的持续预训练语言模型方法

    LLMs 是 NLP 任务的革命性技术，但是像 GPT-4 这样功能强大的 LLM 对于大多数特定领域的场景来说价格过高。我们提出了第一个基于 13B Llama2 的连续训练的 LLM，该模型专门用于医学对话，并通过自动撰写进行了衡量。结果表明，我们的模型在 PubMedQA 中的准确度达到了 76.6％，并且在将医学对话总结为 SOAP 笔记方面与 GPT-4 的性能相当。值得注意的是，我们的模型能够捕捉更多正确的医学概念，超越 GPT-4，并以更高的正确性和完整性胜过人工撰稿人。

    Mar, 2024