Mar, 2024

Med3DInsight：利用 2D 多模态大型语言模型增强 3D 医学图像理解

PDF
TL;DR通过结合现有的 3D 图像编码器和 2D MLLMs，并通过设计的 Plane-Slice-Aware Transformer（PSAT）模块，提出了一种名为 Med3DInsight 的新颖预训练框架，用于增强对 3D 医学图像的理解。实验证明，在两个下游分割和分类任务中，包括使用 CT 和 MRI 模式的三个公共数据集以及与十多个基准模型的比较中，Med3DInsight 取得了最先进的性能，并且可以轻松集成到任何当前的 3D 医学图像理解网络中，显著提高其性能。
3d medical image volumesmllmsmed3dinsightimage encoderspsat module
发现论文，激发创造
  • M3D：利用多模态大型语言模型推进 3D 医学图像分析

    该研究论文通过大规模的三维多模态医学数据集 M3D-Data 和多模态大型语言模型 M3D-LaMed，在各种三维医学任务上实现了先进的医学图像分析方法，并提出了用于自动评估的新的三维多模态医学基准 M3D-Bench。

    Mar, 2024

  • T3D：通过视觉 - 语言预训练实现三维医学图像理解

    T3D 是为高分辨率 3D 医学图像设计的首个 VLP 框架，通过两个文本感知的预训练任务，即文本感知的对比学习和文本感知的图像恢复，从高分辨率的 3D 医学图像中学习 3D 视觉表示，整合临床知识，拥有在器官和肿瘤分割以及疾病分类等任务中显著优于现有 vSSL 方法的潜力。

    Dec, 2023

  • 具备 3D 理解的语言 - 图像模型

    通过扩展多模态大语言模型 (MLLMs) 的感知能力以在三维空间中对图像进行定位和推理，本研究引入了一个名为 Cube-LLM 的新 MLLM，并在 LV3D 数据集上进行预训练，实验表明 Cube-LLM 在整体 MLLM 和特定领域的基准测试中均表现出色，并取得了显著的成果。

    May, 2024

  • Med3D：三维医学影像分析的迁移学习

    本研究为培训深度学习算法所需数据量的问题提出了一种解决方案，通过建立医学图像分割数据集和使用 Med3D 进行多域协同训练，可以加速涉及 3D 医学图像的任务的训练收敛速度和提高准确度。

    Apr, 2019

  • 可解释的二维视觉模型用于三维医学数据

    本研究提出了一种简单的方法，使用 2D 网络和中间特征表示来处理 3D 数据，并使用特征减少模块进行分类，以解决在医学分类的基准测试和实际临床数据中训练成功受限的问题。

    Jul, 2023

  • 基于生成式文本引导的三维视觉语言预训练，用于统一医学图像分割

    本研究提出了一种 3D 医学图像的方法 —— 生成式文本引导 3D 视觉语言预训练。研究在 Computed Tomography (CT)、Magnetic Resonance Imaging (MRI) 和电子显微镜 (EM) 图像数据上进行了验证，结果表明该方法在医学图像分割任务中的效果优异。

    Jun, 2023

  • 语言引导下统一的医学图像预训练在共同语义空间中

    借助统一的语义空间，UniMedI 提出了一种统一医学图像预训练框架，能够有效地为不同模态的医学图像创建统一的表示，并通过改进对 2D 和 3D 图像的分析和解释来提高一致性和性能。

    Nov, 2023

  • 3DMIT: 3D 多模态指导调整用于场景理解

    我们构建了一个包含 75K 个指令 - 回答对的广泛数据集，针对 3D 场景进行了任务，如 3D VQA、3D grounding 和 3D conversation，并引入了一种名为 3DMIT 的新颖且高效的提示调优范例，通过将 3D 空间信息整合到 LLMs 中，使其更好地理解 3D 世界。

    Jan, 2024

  • MedBLIP: 从 3D 医疗影像和文本数据进行语言 - 图像预训练的自举方法

    本文提出了 MedBLIP，这是一个轻量级的 CAD 系统，利用预训练的图像编码器和语言模型，结合维度转换，对医学图像扫描和电子医疗记录中的文本描述进行预训练，最终在 Alzheimer's 病例分类和医学 VQA 领域表现出 SOTA 性能。

    May, 2023

  • 联合自监督图像体表示学习：基于内外对比聚类

    本文提出了一种用于医学数据的自监督深度学习的框架，该框架可以联合学习 2D 和 3D 数据，通过用变形注意力机制构建整体特征，并利用预训练语言模型进行掩蔽嵌入预测，提高了 2D Deep-ClusterV2 和 SwAV 的效果，并超越了各种现代 2D 和 3D 自监督学习方法。

    Dec, 2022