Feb, 2024

医疗人工智能中的泛化性能评估

HTML
PDF
TL;DR利用临床数据训练的大型语言模型在医疗保健领域提供了优化患者护理、临床决策和工作流程的新机会，然而其潜力主要取决于其在不同临床环境和患者群体中有效泛化的能力，这是一个常常被低估的挑战。本研究评估了一种在[HOSPITAL]的临床病历上训练的语言模型的性能，并发现其在少样本的医院、政府和未指定保险的患者、老年人以及多重共病者中的泛化能力较差。通过统计和分类分析，我们发现样本大小、患者年龄、共病程度和病历内容的字数都与泛化能力相关。最后，我们比较了三种方法以提高泛化能力：本地微调（针对特定医院）、实例化增强微调、和基于聚类的微调。结果表明，本地微调是最有效的方法，可以使AUC提高0.25%到11.74%（在数据有限的情况下效果最好）。总体来说，本研究为在医疗保健这一重要领域部署大型语言模型提供了新的见解，并改进了它们在更广泛人群中的性能。
发现论文，激发创造
  • 医疗大语言模型综述：从数据、技术和应用到问责与伦理

    大型语言模型在医疗领域的利用引发了劲头和担忧，本文概述了目前开发的大型语言模型在医疗保健方面的能力，并阐明它们的发展过程，旨在提供从传统预训练语言模型（PLMs）到大型语言模型（LLMs）的发展路线图的概览。总的来说，我们认为正在进行一次重大的范式转变，从PLMs过渡到LLMs，这包括从辨别式人工智能方法向生成式人工智能方法的转变，以及从以模型为中心的方法论向以数据为中心的方法论的转变。

    Oct, 2023

  • 大型语言模型阐明人工医疗助理的进展路径：综述

    通过综述大型语言模型在医学领域中的应用和意义，揭示了它们在知识检索、研究支持、临床工作流自动化和诊断辅助等方面的效用，并探索了多模态语言模型以及自动化代理在医疗保健中的发展潜力。然而，为了有效地将这些模型整合到临床实践中，需要不断优化和进行伦理监管。

    Nov, 2023

  • 将大型语言模型凝聚用于将患者匹配到临床试验

    探究专有和开源大型语言模型在患者试验匹配任务中的有效性，并证明在有限和合成数据集上进行微调后，开源模型与专有模型性能相当，从而为它们在实际医疗应用中的部署提供了巨大机会。

    Dec, 2023

  • 医疗领域中的大型语言模型：综述

    大型语言模型在医疗保健领域的部署引发了热情和忧虑，本综述论文探讨了针对医疗保健应用设计的现有大型语言模型的功能，从传统的预训练语言模型到目前的医疗保健领域的大型语言模型发展轨迹，特别关注临床语言理解任务的潜力以及性能评估、挑战和限制。

    Dec, 2023

  • 大型通用语言模型在评估从成人重症监护电子病历记录中提取的语义概念上的应用评估

    通过医生评注和认定的方法，我们研究了三种通用大型语言模型（LLMs）在理解和处理真实世界临床笔记中的性能，并发现GPT-4整体表现优于其他LLMs。此外，我们开发了一个全面的定性性能评估框架，旨在验证LLMs在处理复杂医学数据方面的能力，并为将来在专门领域的LLM评估建立基准。

    Jan, 2024

  • 医疗行业中评估大型语言模型应用的综合调研

    综述探讨了在医疗保健领域中应用大型语言模型 (LLMs) 的广泛应用和必要的评估，强调了充分利用这些模型提升医疗保健结果的能力的关键验证需求。

    Apr, 2024

  • 医疗领域中的大型语言模型: 一项综合基准评估

    评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

    Apr, 2024

  • 医学领域的大型语言模型综述：技术、应用、可信度与未来发展方向

    综述医疗大型自然语言模型（Med-LLM）的进化历史、技术、应用以及对医疗保健的影响，涵盖临床决策支持、报告生成、医学教育等方面，探索其潜力和限制，并讨论公平性、责任感、隐私保护和鲁棒性等挑战，展望未来的发展方向。

    Jun, 2024

  • 临床洞察：医学领域语言模型的综合评审

    本文解决了大型语言模型在医疗领域应用中的挑战和机遇，特别是在临床中的应用。通过对基础技术及其最新发展进行详细讨论，研究提出了整合文本、视觉和听觉数据的新方法，从而提供全面的AI解决方案。研究发现，这些技术有潜力提升临床效率，但也面临伦理和数据隐私等挑战，强调了开源模型在保障数据隐私和适应性方面的重要性。

    Aug, 2024

  • 医学大型语言模型揭示：入门指南

    本文探讨了大型语言模型（LLMs）在医疗领域的应用潜力，以及医疗专业人员如何高效利用这些工具来提升工作效率。研究提出了一套系统的指导方案，包括任务制定、模型选择、提示工程、微调和部署等关键步骤，以帮助实现LLMs在临床实践中的安全、可靠和有效应用。

    Oct, 2024