Mar, 2023

临床基础建模的不稳定基础：大型语言模型和 EMR 基础建模调查

PDF
TL;DR本文回顾了 80 多个非成像电子医疗记录基础模型并创建了一个分类法以区分它们的结构、训练数据和潜在用例。作者们发现，大多数模型是在小型、局限性临床数据集（例如 MIMIC-III）或广泛的公共生物医学语料库（例如 PubMed）上进行训练的，并且评估任务不能提供对其对医疗系统有用性的有意义见解。基于这些发现，作者提出了一个更加贴近医疗保健重要指标的评估框架，用于衡量临床基础模型的好处。
foundation modelselectronic medical recordsclinical textevaluation frameworkhealthcare
发现论文，激发创造
  • 医学基础模型综述

    基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。

    Jun, 2024

  • 关于电子健康记录共享基础模型的适应性的多中心研究

    通过将基础模型应用于医疗保健领域，可使人工智能的开发更具规模性和经济效益。医疗记录的结构化基础模型在数百万患者的记录上训练，表现出了较少训练标签的性能提升以及对分布变化的改进鲁棒性。本研究基于多中心数据研究探讨了这种基础模型的适应性，结果显示在医院间分享模型可提高预测性能并降低成本，进而强调基础模型作为模块化组件在健康保健人工智能开发中的实用性。

    Nov, 2023

  • 医学影像学中的基础模型：综合调查与未来视野

    通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

    Oct, 2023

  • 基于基础模型的医学图像分析的挑战和展望

    本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准确性和效率，从而促进更加精确的诊断和治疗决策。

    Jun, 2023

  • 何时称为基础模型的基础模型

    最近，在医学领域中，有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证，我们观察到，与显著较小的传统深度网络生成的表示相比，这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。

    Sep, 2023

  • 计算医疗中的数据中心化基础模型：综述

    基于基础模型的数据导向人工智能在改进医疗工作流程方面具有巨大潜力，涉及基础模型、计算医疗、数据记录、临床数据分析等关键领域。

    Jan, 2024

  • EHRSHOT: 用于基础模型少样本评估的电子病历基准

    通过发布一份新的、包含 6712 位患者电子病历数据的纵向数据集 EHRSHOT、以及一个 141M 参数的、预训练于 257 万位患者结构化病历数据的临床基础模型权重，在为医疗机器学习提供共享资产方面，该研究作出了贡献。

    Jul, 2023

  • 基于 Foundation Model 的系统设计框架

    本研究提出了一个基于基础模型的系统分类法，涉及预训练和微调，基于基础模型的系统的体系结构设计以及负责任的 AI-by-design。该分类法为基于基础模型的系统设计提供了具体的指南，并突出了设计决策带来的权衡。

    May, 2023

  • 基础模型的机遇与风险

    AI 基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

    Aug, 2021

  • 生物医疗健康中联邦基础模型的挑战与机遇

    该调查研究了基本模型（FM）在人工智能中的转化影响，重点关注其与联邦学习（FL）相结合在推进生物医学研究中的应用。基于巨大数据集通过无监督预训练、自监督学习、指导微调和人类反馈强化学习等方法训练的基本模型，如 ChatGPT、LLaMa 和 CLIP，代表了机器学习的重要进展。这些模型具有生成连贯文本和逼真图像的能力，在需要处理包括临床报告、诊断图像和多模态患者互动等多样数据形式的生物医学应用中发挥关键作用。将联邦学习与这些复杂模型结合起来，为利用其分析能力同时保护敏感医疗数据的隐私提供了有前途的策略。这种方法不仅提升了基本模型在医学诊断和个性化治疗方面的能力，还解决了医疗保健中数据隐私和安全的重要问题。该调查回顾了基本模型在联邦环境中的当前应用，强调了挑战，并确定了未来的研究方向，包括扩展基本模型、管理数据多样性以及提高联邦学习框架内的通信效率。旨在鼓励进一步研究基本模型和联邦学习的结合潜力，为突破性的医疗创新奠定基础。

    May, 2024