Jun, 2024

CliBench: 临床决策中大型语言模型在诊断、过程、实验室测试和处方方面的多方面评估

PDF
TL;DR将人工智能（AI）与临床诊断过程中的大型语言模型（LLMs）整合，可以显著提高医疗保健的效率和可访问性。本研究通过引入 CliBench—— 一个基于 MIMIC IV 数据集的新型基准测试，评估 LLMs 在临床诊断中的能力，覆盖了多种临床病例的诊断，并包括与临床有关的任务，如治疗程序识别、实验室检查和药物处方等。通过结构化输出本体，CliBench 能够深入了解 LLMs 在不同临床任务上的能力，从而为 LLM 在医疗保健领域的未来发展提供有价值的见解。
artificial intelligencelarge language modelsclinical diagnosisclibenchmimic iv dataset
发现论文，激发创造
  • 医疗领域中的大型语言模型：一项综合基准评估

    评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

    Apr, 2024

  • 评估医学应用中的大型语言模型：一项调研

    综述医学领域中大型语言模型评估的现状、挑战以及将其负责地整合到临床实践中所需的持续研究和创新。

    May, 2024

  • CLUE: 用于 LLMs 的临床语言理解评估

    为填补现有研究中缺乏对医疗领域广泛应用的临床任务的评估的空白，我们提出了一种适用于现实世界临床任务的基准测试工具 CLUE，并通过评估多个生物医学和通用领域 LLMs 的临床表现和适用性，推进医疗领域的 LLMs 评估和开发的标准化方法。

    Apr, 2024

  • 大型语言模型阐明人工医疗助理的进展路径：综述

    通过综述大型语言模型在医学领域中的应用和意义，揭示了它们在知识检索、研究支持、临床工作流自动化和诊断辅助等方面的效用，并探索了多模态语言模型以及自动化代理在医疗保健中的发展潜力。然而，为了有效地将这些模型整合到临床实践中，需要不断优化和进行伦理监管。

    Nov, 2023

  • AI 医院：交互评估和合作使用 LLM 作为实习医生进行临床诊断

    大型语言模型（LLMs）在医疗保健领域的应用具有重要意义，为了充分利用其交互潜力，本文提出了 AI Hospital 框架，用于构建实时互动诊断环境，并通过多视角医学评估（MVME）基准和协作机制来验证其可行性和有效性。

    Feb, 2024

  • 面向 LLMs 的临床能力自动评估：度量标准、数据和算法

    基于大语言模型的临床能力评估范式，利用自动化评估方法来确保临床方案的安全性和可靠性。

    Mar, 2024

  • 大型语言模型多轮医疗咨询自动评估框架

    该研究介绍了一种自动评估框架，评估了大型语言模型作为虚拟医生在多轮咨询中的实际能力，通过重构来自美国医疗执照考试的医学多项选择题，提出了一个基准测试集，并开发了综合评估指标。研究结果表明，使用培训集对大型语言模型进行微调，可以减轻幻觉并提高其在所提出基准上的性能。

    Sep, 2023

  • 基于基准生物医学文本处理任务的大规模语言模型全面评估

    最近，大型语言模型 (LLM) 在解决各种任务方面展现了令人印象深刻的能力。然而，尽管在各种任务中取得了成功，但以前的研究尚未调查它们在生物医学领域的能力。为此，本文旨在评估 LLMs 在基准生物医学任务中的性能。为此，我们对 26 个数据集中 6 个不同生物医学任务的 4 种流行 LLMs 进行了全面评估。据我们所知，这是第一次在生物医学领域对各种 LLMs 进行广泛评估和比较。有趣的是，基于我们的评估结果我们发现，在具有较小训练集的生物医学数据集中，零次矫正的 LLMs 甚至在效果上超过了当前最先进的生物医学模型。这表明，在大型文本语料库上进行预训练使 LLMs 在生物医学领域具有了相当专业的能力。我们还发现，在所有任务中没有单个 LLM 能够胜过其他 LLMs，不同 LLMs 的性能可能会因任务而异。尽管与在大型训练集上进行精细调整的生物医学模型相比，它们的性能仍然相当差，但我们的研究结果表明，LLMs 在缺乏大规模注释数据的各种生物医学任务中具有潜在的价值工具。

    Oct, 2023

  • 通用到医疗应用的大型语言模型调查：数据集、方法论和评估

    大型语言模型（LLMs）在各种自然语言处理任务中表现出令人惊讶的性能。最近，结合领域特定知识的医学 LLMs 在医疗咨询和诊断方面展现出卓越能力。本文系统地探讨了如何基于通用 LLMs 训练医学 LLMs，并提供了指导各种医学应用的 LLMs 发展的方法。

    Jun, 2024

  • 医学中的大型语言模型综述

    在这篇论文中，我们回顾了大型语言模型（LLMs）的发展，重点关注医学 LLMs 的需求和应用。我们提供了现有模型的简要概述，旨在探索进一步的研究方向并使其对未来医学应用产生益处。我们强调了医学 LLMs 在应用中的优势，以及其发展过程中遇到的挑战。最后，我们提出了技术整合的方向来减轻挑战，并为医学 LLMs 的未来研究方向提供了建议，旨在更好地满足医学领域的需求。

    May, 2024