通过使用集体智能方法和 200 个真实病例的临床案例数据集，我们评估和比较了使用个别商业大型语言模型（OpenAI GPT-4、Google PaLM 2、Cohere Command、Meta Llama 2）提取的不同诊断与使用组合相同大型语言模型的回答合并后产生的不同诊断之间的准确性，结果发现聚合多个不同大型语言模型的回答能够更准确地产生不同诊断。

Feb, 2024

这项研究开发了 BiasMedQA 作为一种新的基准测试方法，评估大型语言模型在医学任务中受认知偏差影响的程度，并发现 GPT-4 对偏差具有较强的韧性，而 Llama 2 70B-chat 和 PMC Llama 13B 则受偏差影响较大，这凸显了在医学语言模型开发中需致力于偏差缓解，以实现在医疗保健领域更安全、可靠的应用。

Feb, 2024

通过利用大型语言模型来开发一个医学任务导向的对话系统，该系统模拟人类医生与患者对话以推断诊断结果，研究使用外部规划器和大型语言模型改进了先前人工智能系统在信息收集和自然语言理解等方面的局限性。通过模拟医生的疾病筛查和鉴别诊断的两阶段决策过程，我们设计了两个不同的规划器，以有效地引导医疗对话。采用强化学习和大型语言模型进行主动学习，我们训练了这些规划器，并在 MIMIC-IV 数据集上对系统进行评估，结果表明该系统能够胜过现有模型，这是实现自动对话式疾病诊断并提高医学诊断的精确性和可访问性的重要一步。

Apr, 2024

一个整合了 GPT-4、多智能体架构、从最少到最多过滤排序和反应推理技术的临床多智能体系统（CT-Agent），在临床试验任务中提高了大语言模型的性能，并引入了新的功能。

Apr, 2024

本研究介绍了一种为诊断推理进行优化的大型语言模型 (LLM)，并评估其生成独立诊断推理 (DDx) 或为临床医生提供辅助的能力。结果显示，在挑战性真实医学案例中，使用 LLM 辅助的临床医生在 DDx 质量和全面性方面表现优于未使用该辅助工具的医生，证明 LLM 为 DDx 提供了潜力，有望改善医生在复杂病例中的诊断推理和准确性。

Nov, 2023

该研究介绍了一种自动评估框架，评估了大型语言模型作为虚拟医生在多轮咨询中的实际能力，通过重构来自美国医疗执照考试的医学多项选择题，提出了一个基准测试集，并开发了综合评估指标。研究结果表明，使用培训集对大型语言模型进行微调，可以减轻幻觉并提高其在所提出基准上的性能。

Sep, 2023

研究了人工智能 GPT4 和 GPT3.5 模型在诊断复杂临床病例时的准确性，结果发现模型在多次尝试后能够正确提供正确的诊断和必要的诊断测试，但在复杂、开放性的情况下存在局限性，未来研究应集中于评估模型在更大数据集上的性能和探索增强临床决策的人机协作策略。

May, 2023

为了提高诊断效率，增强医疗诊断的技术潜力，我们建立了一种评估标准 (LLM-specific Mini-CEX)，通过自动对话评估与 ChatGPT 的交互并替代人工评估，可以有效评估医疗诊断对话和比较不同 LLMs 之间的质量。

Aug, 2023

该研究提出了一种包括多步骤评估法的大型语言模型（LLM）评估范例，通过结构化的交互方式进行多模态 LLM 评估，并通过获取交互数据进行后续领域特定的分析，以提高其准确性和实用性。研究以 GPT-4-Vision-Preview 为 LLM，使用多模态多项选择题评估其在病理学领域的医学诊断准确性，结果表明其约有 84% 的正确诊断，同时通过进一步的分析揭示了其在特定领域的不足之处。该方法和结果不仅适用于 GPT-4-Vision-Preview，还可应用于评估其他 LLMs 的准确性和实用性，以进一步优化其应用。

Jan, 2024

本研究评估了 GPT-3.5、GPT-4、Falcon 和 LLaMA 2 等最先进的大型语言模型在从出院摘要中识别患有轻度认知障碍（MCI）的患者的能力，并检查模型响应与其推理不一致的情况。研究结果强调了提示工程的重要性和对 GPT-4 中观察到的意外推理 - 响应不一致性进一步探索的需求，突显了将大型语言模型应用于医疗诊断的潜力，前提是在方法论上取得进步以确保人工智能生成的输出准确性和临床连贯性，从而提高大型语言模型在医疗决策中的可信度。

Dec, 2023