Dec, 2023

MedDM: 临床决策制定的 LLM 可执行的临床指导树

PDF
TL;DR提出了可用于大型语言模型的 LLM 执行的临床指导树（CGT），并根据临床实践指南中的流程图构建了医学诊断决策数据集（MedDM），从医学文献中筛选出流程图并将其转化为标准化的诊断决策树，构建了包含 1202 个决策树的知识库，涵盖了内科、外科、精神科等 12 个医院科室和 500 多种疾病，同时提出了对 LLM 可执行 CGT 的推理方法和患者 - LLM 多轮对话框架。
llmclinical guidance treemedical diagnostic decision-makingknowledge basepatient-llm multi-turn dialogue
发现论文，激发创造
  • 将临床实践指南纳入大型语言模型以提升临床决策支持

    通过将临床实践指南（CPGs）融入大型语言模型（LLMs），可以显著提高临床决策支持（CDS）的效果，我们针对 COVID-19 门诊治疗展开的案例研究表明，LLMs 与 CPGs 相结合相对于普通的 LLMs 与零提示（ZSP）提供了更准确的建议，并且还展示了更广泛应用的潜力。

    Jan, 2024

  • 解读诊断：大型语言模型解释如何影响临床决策

    本研究探讨了大型语言模型在生成患者病情诊断解释方面的可靠性和有效性，实验证明大型语言模型生成的解释显著提高了医生对给定诊断的一致性，同时揭示了大型语言模型输出的潜在错误，在医疗保健领域中的潜力和挑战得到了强调，强调了在整合和评估过程中需要谨慎以确保患者安全和优化的临床效用。

    Oct, 2023

  • LLM-Mini-CEX: 大型语言模型的自动评估用于诊断对话

    为了提高诊断效率，增强医疗诊断的技术潜力，我们建立了一种评估标准 (LLM-specific Mini-CEX)，通过自动对话评估与 ChatGPT 的交互并替代人工评估，可以有效评估医疗诊断对话和比较不同 LLMs 之间的质量。

    Aug, 2023

  • 医生的 LLM：利用医学 LLM 来协助医生，而不是取代他们

    通过构建医学助手和医生之间的合作，我们建立了一个医学数据集 DoctorFLAN，用于支持医生的全部工作流程，并通过构建医生定向场景的评估来验证该数据集的有效性。

    Jun, 2024

  • 大型语言模型多轮医疗咨询自动评估框架

    该研究介绍了一种自动评估框架，评估了大型语言模型作为虚拟医生在多轮咨询中的实际能力，通过重构来自美国医疗执照考试的医学多项选择题，提出了一个基准测试集，并开发了综合评估指标。研究结果表明，使用培训集对大型语言模型进行微调，可以减轻幻觉并提高其在所提出基准上的性能。

    Sep, 2023

  • CliBench: 临床决策中大型语言模型在诊断、过程、实验室测试和处方方面的多方面评估

    将人工智能（AI）与临床诊断过程中的大型语言模型（LLMs）整合，可以显著提高医疗保健的效率和可访问性。本研究通过引入 CliBench—— 一个基于 MIMIC IV 数据集的新型基准测试，评估 LLMs 在临床诊断中的能力，覆盖了多种临床病例的诊断，并包括与临床有关的任务，如治疗程序识别、实验室检查和药物处方等。通过结构化输出本体，CliBench 能够深入了解 LLMs 在不同临床任务上的能力，从而为 LLM 在医疗保健领域的未来发展提供有价值的见解。

    Jun, 2024

  • 通用到医疗应用的大型语言模型调查：数据集、方法论和评估

    大型语言模型（LLMs）在各种自然语言处理任务中表现出令人惊讶的性能。最近，结合领域特定知识的医学 LLMs 在医疗咨询和诊断方面展现出卓越能力。本文系统地探讨了如何基于通用 LLMs 训练医学 LLMs，并提供了指导各种医学应用的 LLMs 发展的方法。

    Jun, 2024

  • 从初学者到专家：将医学知识建模到通用 LLM 中

    本研究通过将预训练的通用大型语言模型精细调整为医学领域专家，并结合多种优化方法，包括注入通用医学知识、医学领域指导微调和特定医学任务适应性调整，成功提升了在医学领域的推理和应答能力。

    Dec, 2023

  • 评估基于 LLM 生成的医学图像和症状分析的多模态诊断

    该研究提出了一种包括多步骤评估法的大型语言模型（LLM）评估范例，通过结构化的交互方式进行多模态 LLM 评估，并通过获取交互数据进行后续领域特定的分析，以提高其准确性和实用性。研究以 GPT-4-Vision-Preview 为 LLM，使用多模态多项选择题评估其在病理学领域的医学诊断准确性，结果表明其约有 84% 的正确诊断，同时通过进一步的分析揭示了其在特定领域的不足之处。该方法和结果不仅适用于 GPT-4-Vision-Preview，还可应用于评估其他 LLMs 的准确性和实用性，以进一步优化其应用。

    Jan, 2024

  • LLMs 在医学领域中能有效纠正医生吗？研究有效的交互方法

    利用大型语言模型（LLMs）协助和纠正医生在医疗决策任务中的潜力进行探索，研究评估了几个 LLMs，包括 Meditron、Llama2 和 Mistral，以分析这些模型在不同场景下与医生有效互动的能力，并认为提示设计显著影响 LLMs 的下游准确性，LLMs 能够为医生提供有价值的反馈，挑战错误诊断，促进更准确的决策，同时还揭示了确保 LLM 生成的建议相关和有用的挑战，强调了进一步研究的需求。

    Mar, 2024