通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、 更高效的专业化临床模型。

Feb, 2023

大型语言模型在医疗领域的利用引发了劲头和担忧，本文概述了目前开发的大型语言模型在医疗保健方面的能力，并阐明它们的发展过程，旨在提供从传统预训练语言模型（PLMs）到大型语言模型（LLMs）的发展路线图的概览。总的来说，我们认为正在进行一次重大的范式转变，从PLMs过渡到LLMs，这包括从辨别式人工智能方法向生成式人工智能方法的转变，以及从以模型为中心的方法论向以数据为中心的方法论的转变。

Oct, 2023

探讨了通用领域大型语言模型（如GPT-4 Turbo）能否通过手术过程描述和患者临床记录从电子健康记录中进行风险分层和预测术后结果指标。 对8个不同任务的预测性能进行了研究：ASA身体状态分类的预测、住院、重症监护室入院、非计划入院、住院死亡、PACU第一阶段持续时间、住院持续时间和重症监护室持续时间。 少量样本和思维链调控提高了几个任务的预测性能。 ASA身体状态分类的F1分数为0.50，重症监护室入院为0.81，住院死亡为0.86。 在所有提示策略中，持续时间预测任务的性能普遍较差。 当前一代大型语言模型能够协助临床医生进行围手术期风险分层的分类任务，并产生高质量的自然语言摘要和解释。

Jan, 2024

大型语言模型在医疗保健领域的部署引发了热情和忧虑，本综述论文探讨了针对医疗保健应用设计的现有大型语言模型的功能，从传统的预训练语言模型到目前的医疗保健领域的大型语言模型发展轨迹，特别关注临床语言理解任务的潜力以及性能评估、挑战和限制。

Dec, 2023

通过医生评注和认定的方法，我们研究了三种通用大型语言模型（LLMs）在理解和处理真实世界临床笔记中的性能，并发现GPT-4整体表现优于其他LLMs。此外，我们开发了一个全面的定性性能评估框架，旨在验证LLMs在处理复杂医学数据方面的能力，并为将来在专门领域的LLM评估建立基准。

Jan, 2024

利用临床数据训练的大型语言模型在医疗保健领域提供了优化患者护理、临床决策和工作流程的新机会，然而其潜力主要取决于其在不同临床环境和患者群体中有效泛化的能力，这是一个常常被低估的挑战。本研究评估了一种在[HOSPITAL]的临床病历上训练的语言模型的性能，并发现其在少样本的医院、政府和未指定保险的患者、老年人以及多重共病者中的泛化能力较差。通过统计和分类分析，我们发现样本大小、患者年龄、共病程度和病历内容的字数都与泛化能力相关。最后，我们比较了三种方法以提高泛化能力：本地微调（针对特定医院）、实例化增强微调、和基于聚类的微调。结果表明，本地微调是最有效的方法，可以使AUC提高0.25%到11.74%（在数据有限的情况下效果最好）。总体来说，本研究为在医疗保健这一重要领域部署大型语言模型提供了新的见解，并改进了它们在更广泛人群中的性能。

Feb, 2024

利用现有的大型医学语言模型（LLMs），我们构建了一个名为Hypnos的中文麻醉模型，通过改进数据质量、训练策略和引入标准化评估基准，Hypnos在麻醉学中表现优于其他医学LLMs。

Mar, 2024

综述医疗大型自然语言模型（Med-LLM）的进化历史、技术、应用以及对医疗保健的影响，涵盖临床决策支持、报告生成、医学教育等方面，探索其潜力和限制，并讨论公平性、责任感、隐私保护和鲁棒性等挑战，展望未来的发展方向。

Jun, 2024

本研究解决了大型语言模型（LLMs）在处理结构化电子健康记录和非结构化临床笔记时的有效性问题。通过基准测试不同模型，发现LLMs在结构化数据上的零-shot预测能力较强，但在非结构化文本任务中，微调的BERT模型表现更优。这一发现强调了根据任务要求和数据特征选择合适模型的重要性，以优化NLP技术在医疗领域的应用。

Jul, 2024

本研究解决了大型语言模型（LLMs）在生成临床预测概率时的可靠性问题。通过对比显式和隐式概率，该研究发现显式概率在区分、精确度和召回率方面的表现较差，尤其是在小型LLM和不平衡数据集上更为明显。这一发现强调了在临床应用中对生成概率的谨慎解读与研究的必要性。

Aug, 2024