Nov, 2023

医学图像及相应分割掩膜的端到端自编码架构

PDF
TL;DR基于 Hamiltonian 变分自编码器（HVAE），提出了一种解决医学图像分割中训练数据不足挑战的端到端架构，通过改进传统变分自编码器（VAE）的后验分布近似，提高图像生成质量，在数据稀缺条件下优于生成对抗架构，实现了图像质量的优化和准确的肿瘤掩膜合成。在 MICCAI 的 Brain Tumor Segmentation Challenge（BRATS）和 Head and Neck Tumor Segmentation Challenge（HECKTOR）两个公开数据集上进行了实验，证明了我们方法在不同的医学成像模态上的有效性。
发现论文，激发创造
  • 鉴别性哈密顿变分自编码器在数据稀缺情况下精准肿瘤分割

    通过提出基于 Hamiltonian 变分自动编码器（HVAE）和区别性正则化的新的端到端混合架构，我们的方法可以准确估计图像和蒙版的联合分布，从而生成具有较少伪影和离群实例的逼真医学图像。通过在丰富增强的数据集上以切片方式操作，我们的架构可以快速且准确地分割 3D 体积，在 BRATS（MRI 模态）和 HECKTOR（PET 模态）两个公开数据集上的实验证明了我们提出的方法在有限数据的不同医学成像模态上的有效性。

    Jun, 2024

  • 生成医学分割

    介绍了一种基于生成模型的图像分割方法 (GMS)，使用预训练的 Variational Autoencoder (VAE) 生成精确的分割掩膜，提供了医学图像分割的新标准，具有良好的领域泛化能力。

    Mar, 2024

  • 全局 - 局部蒙版自编码器在体积医学图像分割中的应用

    提出了一种名为全局局部遮挡自编码器 (GL-MAE) 的简单而有效的自监督预训练策略，它可以重构遮挡的全局和局部体积， 并通过全局引导一致性学习和局部到全局的对应加强和稳定掩蔽体积的表示学习。结果表明，在各种体积医学图像细分任务上，与其他自监督算法相比，该方法具有卓越的表现，即使注释很少也是如此。

    Jun, 2023

  • 多阶段变分自编码器用于粗到细的图像生成

    使用多段式 VAE 模型生成高品质图像，通过使用残差块和跳跃连接来增加解码器网络的容量，并使其能够使用多段式生成精细的图像。

    May, 2017

  • 医学视觉与语言预训练的多模态掩码自编码器

    提出了一种基于 M$^3$AE 的自监督学习模型，通过随机遮盖图像和文本中的像素和标记来学习跨模态领域知识的医学视觉语言模型，并在三个任务上实现了最先进水平的结果。

    Sep, 2022

  • SurgMAE：用于长时间手术视频分析的遮蔽自编码器

    提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

    May, 2023

  • 一种用于建模多尺度模糊的层次概率 U-Net

    提出一种用于鲜明可辨的多级细节分割的分割网络，Hierarchical Probabilistic U-Net，它采用基于条件变分自编码器的分层潜空间分解，可以在自动分离多个规模的独立因素的同时，学习跨规模的复杂结构分布，从而实现对医疗扫描的分割以及对神经生物学和自然图像实例分割的能力的提升。

    May, 2019

  • 面具感知写实人脸属性编辑

    本研究使用变分自动编码器 (VAE) 和生成式对抗网络 (GAN) 相结合的方法，设计了 M-AAE 算法，在保持面部细节的前提下修改图片特征，通过面部识别损失和循环一致性损失，以及生成面部口罩来强化 VAE 和 GAN 的训练目标，成功生成了高质量、保留细节的图像，并超越了现有方法。

    Apr, 2018

  • 异模态变分编码器 - 解码器用于联合模态完成和分割

    本研究提出了一种新的深度学习方法用于肿瘤分割，特别是在处理数据缺失时具备先进性。首先，将所有观察到的模态独立地嵌入到共享潜在表示中，然后从这个潜在表示中生成缺失数据和肿瘤分割。最后，通过将双方的优点与 3D U-Net 和多模态变分自编码器相结合，提出了一种新的网络结构。

    Jul, 2019

  • 医学影像数据增强的深度学习方法综述

    深度生成模型在医学图像增强中的应用和潜力是本综述的重点，旨在通过人工合成更真实多样且符合数据真实分布的数据样本来改善医学图像分析中深度学习算法的性能，涵盖了三种类型的深度生成模型：变分自编码器、生成对抗网络和扩散模型。

    Jul, 2023