Jun, 2023

石针：面向医疗保健的通用多模态大规模模型框架

PDF
TL;DRStone Needle 是一种通用的、多模态的大型模型框架，专门用于医疗应用，并能够整合多种不同的模态，以超越单模态系统的限制，从而进行多轮对话的多模态交互，并通过多个实验结果证明相对于单模态系统具有更好的性能。
multimodal datastone needlehealthcare applicationsmedical foundation modelsmulti-modal interaction
发现论文，激发创造
  • 医疗应用集成多模态人工智能框架

    本研究提出并评估了一种综合人工智能在医学领域的框架（HAIM），以促进利用多模态输入实现人工智能系统的生成和测试，该框架可在医疗保健环境中进行研究和部署，并通过使用 Shapley 值量化每个模态和数据源的贡献，展示了多模态输入在不同医疗任务中的必要性。

    Feb, 2022

  • 多模态编辑中的关键问题

    这篇论文介绍了第一个专门设计来系统评估现有多模态大型语言模型对长文本多模态内容理解能力的基准测评 MM-NIAH，并指出现有模型在这些任务上仍有显著的改进空间，特别是在以视觉为中心的评估上。

    Jun, 2024

  • 基于人工智能的电子健康记录和影像数据融合方法

    这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

    Oct, 2022

  • 面向临床辅助基于成像的生物医学应用的多模态机器学习

    机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。

    Nov, 2023

  • HEALNet -- 混合多模态融合为异构生物医学数据

    采用新技术对医学数据进行收集，如高分辨率组织病理学和高通量基因组测序，为多模态生物医学建模提供了支持。本文介绍了一种灵活的多模态融合架构 —— 混合早期融合注意力学习网络（HEALNet），能够有效处理训练和推断中缺失的模态，提供了最新的多模态基准，并在存在缺失模态的场景中获得卓越性能。

    Nov, 2023

  • M3D：利用多模态大型语言模型推进 3D 医学图像分析

    该研究论文通过大规模的三维多模态医学数据集 M3D-Data 和多模态大型语言模型 M3D-LaMed，在各种三维医学任务上实现了先进的医学图像分析方法，并提出了用于自动评估的新的三维多模态医学基准 M3D-Bench。

    Mar, 2024

  • 深度多模态融合图像和非图像数据在疾病诊断与预后中的应用：综述

    这篇论文综述如何运用多模态深度学习技术提取和汇总多模态信息，以实现更客观、定量化的计算机辅助临床决策，并探讨了其在疾病诊断和预后中的应用、性能表现、挑战和未来发展方向。

    Mar, 2022

  • 异构图学习在多模式医学数据分析中的应用

    我们介绍一种名为 HetMed 的图形框架，可以将多模态医疗数据融合在一起，这通过构造一个多重网络来实现，该网络涵盖患者的多种非图像特征，以系统的方式捕捉患者之间的复杂关系，从而实现更准确的临床决策，并在各种实际数据集上证明了 HetMed 的优越性和实用性。

    Nov, 2022

  • M3H：面向医疗保健的多模态多任务机器学习

    AI 在医疗领域取得的最新突破有望从根本上提升我们对医疗的研究和理解。在这项工作中，我们介绍了 M3H 框架，它是一个可解释的多模态多任务医疗机器学习框架，能够从不同的多模态输入中学习，适用于各种医疗任务和机器学习问题类别，同时提供了有关任务相互依赖性动态的解释洞察。

    Apr, 2024

  • 医疗保健中多模态机器学习方法综述

    综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

    Feb, 2024