Mar, 2024

使用具有状态感知病人模拟器的自动交互式评估大型语言模型

PDF
TL;DR通过引入自动交互评估（AIE）框架和状态感知患者模拟器（SAPS），本文介绍了一种增强大型语言模型（LLMs）在医疗保健领域应用的方法，通过多轮医患模拟来评估 LLMs 的性能，从而更好地满足临床实践的需求。实验证明了 AIE 框架的有效性，并与人类评估结果一致，强调其改进医疗保健交付的潜力。
large language modelsautomated interactive evaluationstate-aware patient simulatormedical fieldllm behaviors
发现论文，激发创造
  • AI 医院：交互评估和合作使用 LLM 作为实习医生进行临床诊断

    大型语言模型（LLMs）在医疗保健领域的应用具有重要意义，为了充分利用其交互潜力，本文提出了 AI Hospital 框架，用于构建实时互动诊断环境，并通过多视角医学评估（MVME）基准和协作机制来验证其可行性和有效性。

    Feb, 2024

  • 面向 LLMs 的临床能力自动评估：度量标准、数据和算法

    基于大语言模型的临床能力评估范式，利用自动化评估方法来确保临床方案的安全性和可靠性。

    Mar, 2024

  • 利用大型语言模型作为临床教育的模拟病人

    通过结合大型语言模型和现实临床场景，CureFun 提供了一种虚拟模拟患者教育框架，可以促进学生和模拟患者之间的自然对话，评估他们的对话并提供建议，以提升学生的临床查询技能。此外，借助 CureFun 的评估能力，我们还对几种医学大型语言模型进行了评估，并从诊断能力的角度讨论了使用大型语言模型作为虚拟医生的可能性和局限性。

    Apr, 2024

  • 通过半结构化数据和大型语言模型集成自动生成高质量的医学仿真场景

    采用半结构化数据与大型语言模型（LLMs）相结合，本研究引入了一种医学教育变革框架，以自动化生成医学模拟场景。该创新显著缩短了场景开发所需的时间和资源，实现了更广泛的模拟类型，提高了参与度和知识获取，突显了人工智能在推动教育成果和患者护理标准方面的关键作用。

    Apr, 2024

  • 大型语言模型多轮医疗咨询自动评估框架

    该研究介绍了一种自动评估框架，评估了大型语言模型作为虚拟医生在多轮咨询中的实际能力，通过重构来自美国医疗执照考试的医学多项选择题，提出了一个基准测试集，并开发了综合评估指标。研究结果表明，使用培训集对大型语言模型进行微调，可以减轻幻觉并提高其在所提出基准上的性能。

    Sep, 2023

  • 走向对话式诊断人工智能

    医生与患者对话是医学的核心，具有技巧的病史采集为准确的诊断、有效的治疗和持久的信任铺平了道路。人工智能（AI）系统能够进行诊断对话，可以提高医疗的可及性、一致性和质量。本研究介绍了一种基于大型语言模型（LLM）的 AI 系统 AMIE，该系统通过模拟环境和自动反馈机制进行优化，以实现在不同疾病、专业领域和环境中的学习和扩展。 AMIE 在临床相关性能评估中表现出更高的诊断准确性和出色的性能，这是朝着对话式诊断 AI 的里程碑迈进。

    Jan, 2024

  • 大型语言模型阐明人工医疗助理的进展路径：综述

    通过综述大型语言模型在医学领域中的应用和意义，揭示了它们在知识检索、研究支持、临床工作流自动化和诊断辅助等方面的效用，并探索了多模态语言模型以及自动化代理在医疗保健中的发展潜力。然而，为了有效地将这些模型整合到临床实践中，需要不断优化和进行伦理监管。

    Nov, 2023

  • 评估医学应用中的大型语言模型：一项调研

    综述医学领域中大型语言模型评估的现状、挑战以及将其负责地整合到临床实践中所需的持续研究和创新。

    May, 2024

  • CliBench: 临床决策中大型语言模型在诊断、过程、实验室测试和处方方面的多方面评估

    将人工智能（AI）与临床诊断过程中的大型语言模型（LLMs）整合，可以显著提高医疗保健的效率和可访问性。本研究通过引入 CliBench—— 一个基于 MIMIC IV 数据集的新型基准测试，评估 LLMs 在临床诊断中的能力，覆盖了多种临床病例的诊断，并包括与临床有关的任务，如治疗程序识别、实验室检查和药物处方等。通过结构化输出本体，CliBench 能够深入了解 LLMs 在不同临床任务上的能力，从而为 LLM 在医疗保健领域的未来发展提供有价值的见解。

    Jun, 2024

  • 将人工智能整合到高等教育中：与 'SAMCares: 一个自适应学习中心的试点研究 ' 的协议

    通过引入一种创新的研究伙伴系统（我们将其称为 'SAMCares'），该系统利用大型语言模型（LLM）和 Retriever-Augmented Generation（RAG）来提供实时、上下文感知和自适应的教育支持，从而弥合了传统辅助技术和学习辅助工具的差距。

    May, 2024