本文介绍了 Clinical Language Understanding Evaluation (CLUE) 基准测试，它通过提供一组基于 MIMIC 数据的四个临床语言理解任务、标准的训练、开发、验证和测试集，以及一个软件工具包去解决临床语言处理面临的实验设置不一等问题，能够直接比较不同方法之间的性能差异，提高可重复性，并降低开发新模型或方法的门槛。

Sep, 2022

将人工智能（AI）与临床诊断过程中的大型语言模型（LLMs）整合，可以显著提高医疗保健的效率和可访问性。本研究通过引入 CliBench—— 一个基于 MIMIC IV 数据集的新型基准测试，评估 LLMs 在临床诊断中的能力，覆盖了多种临床病例的诊断，并包括与临床有关的任务，如治疗程序识别、实验室检查和药物处方等。通过结构化输出本体，CliBench 能够深入了解 LLMs 在不同临床任务上的能力，从而为 LLM 在医疗保健领域的未来发展提供有价值的见解。

Jun, 2024

综述医学领域中大型语言模型评估的现状、挑战以及将其负责地整合到临床实践中所需的持续研究和创新。

May, 2024

评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

Apr, 2024

本研究通过对临床语言理解任务的全面评估和引入一种新的提示策略 —— 自问自答提示（SQP），来提高大型语言模型 (GPT-3.5、GPT-4 和 Bard) 在医疗相关任务中的性能，同时还提供了有关挑战性关系抽取任务误差分布和潜在改进方法的有价值洞察。此项研究为之后的研究和开发医疗应用奠定了基础。

Apr, 2023

该论文介绍了第一个大规模的中文语言理解评估基准，名为 CLUE，以帮助解决英语特定的自然语言理解模型难以用于其他语言的问题，并使用 9 个最先进的中文预训练模型来报告结果，并引入了一系列辅助数据集和工具以促进中文自然语言理解技术的进一步发展。

Apr, 2020

大型语言模型（LLMs）在各种自然语言处理任务中表现出令人惊讶的性能。最近，结合领域特定知识的医学 LLMs 在医疗咨询和诊断方面展现出卓越能力。本文系统地探讨了如何基于通用 LLMs 训练医学 LLMs，并提供了指导各种医学应用的 LLMs 发展的方法。

Jun, 2024

大型语言模型在医疗保健领域的部署引发了热情和忧虑，本综述论文探讨了针对医疗保健应用设计的现有大型语言模型的功能，从传统的预训练语言模型到目前的医疗保健领域的大型语言模型发展轨迹，特别关注临床语言理解任务的潜力以及性能评估、挑战和限制。

Dec, 2023

基于大语言模型的临床能力评估范式，利用自动化评估方法来确保临床方案的安全性和可靠性。

Mar, 2024

大型语言模型在医疗保健领域已得到应用，从医学考试问题到回答患者问题。随着生产 LLM 的公司和医疗系统之间的机构合作增加，真实世界的临床应用越来越接近现实。随着这些模型的推广，医疗从业人员了解 LLMs 是什么，其发展过程，目前和潜在的应用以及在医学中利用时存在的问题非常重要。这篇综述和附带的教程旨在概述这些主题，以帮助医疗保健从业者了解 LLMs 在医学中的快速变化景观。

Aug, 2023