Mar, 2024

软虎：面向医疗工作流的临床基础模型

PDF
TL;DR我们介绍了 SoftTiger，这是一个临床大型语言模型（CLaM），旨在成为医疗保健工作流的基础模型。我们解决了将临床笔记按照国际互操作性标准转化为临床数据的关键问题，并通过公开和认证的临床数据进行了监督微调，使目标模型能够支持基本的临床任务，并学习执行更复杂的下游临床任务。此外，我们还解决了医疗保健背景中的模型挑战，并展示了 SoftTiger 在盲目对比评估中优于其他流行的开源模型和 GPT-3.5，与 Gemini-pro 相媲美，仅与 GPT-4 略有差距。我们相信，大型语言模型可能成为医疗保健数字化和民主化的一个基石，因此，我们公开发布了规模为 130 亿和 700 亿参数的 SoftTiger 模型，以及创新的可扩展评估的数据集和代码，希望对医疗保健行业做出重要贡献。
发现论文，激发创造
  • GatorTron：从非结构化电子病历中解锁患者信息的大型临床语言模型

    本研究构建并评估了 GatorTron，一个基于临床语言的自然语言处理大型模型，训练数据包含 90 多亿个单词，其中包括 82 多亿个去识别化的临床文本。该模型在临床概念提取、医学关系提取、语义文本相似度、自然语言推断和医学问答等 5 个临床自然语言处理任务上都表现出众，并在可伸缩性方面得到了优化。

    Feb, 2022

  • 医学研究与健康保健的生成式大型语言模型研究

    本文使用 2770 亿行混合临床和英文文本的 GPT-3 架构，开发了一种名为 GatorTronGPT 的临床生成 LLM，以提高医学研究的生物医学自然语言处理。通过使用 GatorTronGPT 训练的合成自然语言处理模型的生成文本，性能优于使用现实临床文本训练的模型。在医生的图灵测试中，医生不能区分 GatorTronGPT 所生成的文本和人类所生成的文本。该研究为 LLMs 在医学研究和医疗保健中的机遇和挑战提供了深入的见解。

    May, 2023

  • 面向专家级临床笔记生成的开源大型语言模型的适应性

    在本研究中，我们展示了一个小型开源语言模型（LLMs）可以有效地从门诊患者 - 医生对话中生成高质量的临床笔记，通过包括持续预训练、监督微调和强化学习在内的综合的领域和任务特定的自适应过程。我们通过增强方法 DistillDirect，以 Gemini Pro 作为教师模型，在策略上进行了强化学习。我们的研究证明了训练较小、开源的 LLMs 以辅助临床文档编写的潜力和可行性，充分利用医疗机构对患者记录和领域专业知识的访问。

    Apr, 2024

  • 我们是否还需要临床语言模型？

    通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、 更高效的专业化临床模型。

    Feb, 2023

  • TigerBot：一个开放的多语言多任务 LLM

    TigerBot 系列的大型语言模型通过在数据、训练算法、基础设施和应用工具方面的进一步发展，实现了有意义的性能提升，成为领先的学术和工业基准模型，并以开放源代码的方式向社区发布模型，以实现 LLM 领域中的实际应用。

    Dec, 2023

  • 大型语言模型的临床文档动态问答

    利用大型语言模型 (LLMs) 对临床记录进行动态问答的自然语言接口引入了一种新的方法。我们的聊天机器人通过 Langchain 和基于变压器的 LLMs 实现，允许用户用自然语言查询并从临床记录中获得相关答案。经过利用各种嵌入模型和先进的 LLMs 的实验表明，Wizard Vicuna 具有更高的准确性，尽管计算需求较高。模型优化，包括重量量化，使延迟时间提高了约 48 倍。有希望的结果表明，充分利用临床记录的价值和推进基于 AI 的临床决策的发展还面临一些挑战，如模型幻觉和有限的多样化医疗案例评估。解决这些差距对于释放临床记录的价值和推进基于 AI 的临床决策具有重要意义。

    Jan, 2024

  • 医疗人工智能中的泛化性能评估

    利用临床数据训练的大型语言模型在医疗保健领域提供了优化患者护理、临床决策和工作流程的新机会，然而其潜力主要取决于其在不同临床环境和患者群体中有效泛化的能力，这是一个常常被低估的挑战。本研究评估了一种在 [HOSPITAL] 的临床病历上训练的语言模型的性能，并发现其在少样本的医院、政府和未指定保险的患者、老年人以及多重共病者中的泛化能力较差。通过统计和分类分析，我们发现样本大小、患者年龄、共病程度和病历内容的字数都与泛化能力相关。最后，我们比较了三种方法以提高泛化能力：本地微调（针对特定医院）、实例化增强微调、和基于聚类的微调。结果表明，本地微调是最有效的方法，可以使 AUC 提高 0.25% 到 11.74%（在数据有限的情况下效果最好）。总体来说，本研究为在医疗保健这一重要领域部署大型语言模型提供了新的见解，并改进了它们在更广泛人群中的性能。

    Feb, 2024

  • 大型语言模型准备好应用于医疗保健了吗？临床语言理解的比较研究

    本研究通过对临床语言理解任务的全面评估和引入一种新的提示策略 —— 自问自答提示（SQP），来提高大型语言模型 (GPT-3.5、GPT-4 和 Bard) 在医疗相关任务中的性能，同时还提供了有关挑战性关系抽取任务误差分布和潜在改进方法的有价值洞察。此项研究为之后的研究和开发医疗应用奠定了基础。

    Apr, 2023

  • 基于合成临床记录的公开可分享临床大型语言模型

    通过使用公开可获得的案例报告提取的合成大规模临床记录，创建合成大规模临床记录和使用真实临床记录评估的专业临床大语言模型 Asclepius 与其他大型语言模型 GPT-3.5-turbo 和其他开放源替代品进行比较，证明合成临床记录在构建高性能临床语言模型时可以作为可行的替代品，这一结论得到了 GPT-4 和医学专家的详细评估的支持。

    Sep, 2023

  • 临床 GPT：基于多样医疗数据微调的大型语言模型和全面评估

    本研究介绍了一种专门为临床场景设计和优化的语言模型 ——ClinicalGPT，通过整合大量临床实际数据、领域特定知识和多轮次对话信息，使其更好地处理多种临床任务，并通过医学知识问答、医学考试、患者咨询和医疗记录的诊断分析等全面评估框架证明其在这些任务中显著优于其他模型，突出了我们的方法在将大型语言模型应用于卫生保健这一关键领域的有效性。

    Jun, 2023