Jun, 2024

临床实验室：在真实世界中协调多部门临床诊断代理

PDF
TL;DRLLMs 在医学领域中面临精度和可靠性要求严苛的挑战，现有临床评估基准存在诸多限制，为解决这些限制，我们介绍了 ClinicalLab，它包括基于真实病例的 ClinicalBench 评估基准以及用于评估 LLMs 效果的四个新指标（ClinicalMetrics），我们还提出了与现实临床诊断实践相符的综合性临床代理（ClinicalAgent）。
发现论文，激发创造
  • 面向 LLMs 的临床能力自动评估：度量标准、数据和算法

    基于大语言模型的临床能力评估范式，利用自动化评估方法来确保临床方案的安全性和可靠性。

    Mar, 2024

  • CliBench: 临床决策中大型语言模型在诊断、过程、实验室测试和处方方面的多方面评估

    将人工智能（AI）与临床诊断过程中的大型语言模型（LLMs）整合，可以显著提高医疗保健的效率和可访问性。本研究通过引入 CliBench—— 一个基于 MIMIC IV 数据集的新型基准测试，评估 LLMs 在临床诊断中的能力，覆盖了多种临床病例的诊断，并包括与临床有关的任务，如治疗程序识别、实验室检查和药物处方等。通过结构化输出本体，CliBench 能够深入了解 LLMs 在不同临床任务上的能力，从而为 LLM 在医疗保健领域的未来发展提供有价值的见解。

    Jun, 2024

  • AgentClinic：评估 AI 在模拟临床环境中的多模态代理基准

    诊断和治疗患者是一个复杂的、顺序的决策过程，医生需要获取信息并进行相应操作。本研究介绍了 AgentClinic，一个用于评估大型语言模型在模拟临床环境中扮演医生角色能力的多模态基准测试。

    May, 2024

  • AgentBench: 评估语言模型为代理人

    大型语言模型在互动环境中以多轮开放式生成的方式评估 LLMs 作为代理的推理和决策能力，显示出商业 LLMs 和开源竞争对手之间的性能差距。

    Aug, 2023

  • AI 医院：交互评估和合作使用 LLM 作为实习医生进行临床诊断

    大型语言模型（LLMs）在医疗保健领域的应用具有重要意义，为了充分利用其交互潜力，本文提出了 AI Hospital 框架，用于构建实时互动诊断环境，并通过多视角医学评估（MVME）基准和协作机制来验证其可行性和有效性。

    Feb, 2024

  • CT-Agent: 临床试验多智能体基于大语言模型的推理

    一个整合了 GPT-4、多智能体架构、从最少到最多过滤排序和反应推理技术的临床多智能体系统（CT-Agent），在临床试验任务中提高了大语言模型的性能，并引入了新的功能。

    Apr, 2024

  • CLUE: 用于 LLMs 的临床语言理解评估

    为填补现有研究中缺乏对医疗领域广泛应用的临床任务的评估的空白，我们提出了一种适用于现实世界临床任务的基准测试工具 CLUE，并通过评估多个生物医学和通用领域 LLMs 的临床表现和适用性，推进医疗领域的 LLMs 评估和开发的标准化方法。

    Apr, 2024

  • 为临床任务对齐大型语言模型

    大型语言模型在临床应用中的关键性挑战是对其进行有效的对齐，以实现准确生成具备事实内容和非平凡推理能力的响应。本研究提出了一种名为 “扩展 - 猜测 - 精化” 的医学问题回答的对齐策略，该策略通过采用指令调整和少样本以及连续思考等方法显著提高了大型语言模型的性能。初步分析表明，该方法在从 USMLE 数据集中选取的问题子集上达到了 70.63% 的优异表现。

    Sep, 2023

  • 大型语言模型多轮医疗咨询自动评估框架

    该研究介绍了一种自动评估框架，评估了大型语言模型作为虚拟医生在多轮咨询中的实际能力，通过重构来自美国医疗执照考试的医学多项选择题，提出了一个基准测试集，并开发了综合评估指标。研究结果表明，使用培训集对大型语言模型进行微调，可以减轻幻觉并提高其在所提出基准上的性能。

    Sep, 2023

  • 医疗领域中的大型语言模型：一项综合基准评估

    评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

    Apr, 2024