基于扩散的零样本医学图像到图像转换用于跨模态分割
本文提出一种基于对抗学习的无监督域适应框架,通过一个域适应模块和一个域批判模块来实现不同模态医学图像分割的跨域问题,无需使用目标域标签信息,仅利用MRI图像训练的卷积神经网络适应非配对的CT数据来进行心脏结构分割,取得了良好的结果。
Apr, 2018
通过训练深度学习模型将CT图像的肝脏分割模型迁移到MRI图像分割任务中,通过领域自适应方法中的分解表示方法,我们将一个域中的图像映射到共享内容空间和特定样式空间中,这使得我们在多模式医学图像领域实现了高精度的肝脏分割。
Jul, 2019
本文提出了一个名为互信息指导扩散的跨模态数据翻译模型(MIDiffusion)来解决零样本学习交叉模态数据翻译的基本挑战,该方法不需要基于源与目标领域的直接映射,且在实践中应用跨模态数据翻译方法具有优势。
Jan, 2023
使用频域滤波器来指导扩散模型,以实现结构保留图像翻译的频率引导扩散模型(FGDM),同时在医学图像翻译中具有零样本学习的能力。 该模型在结构保留医学图像翻译任务中具有良好的性能。
Apr, 2023
通过使用单一的条件模型,根据输入类型调整其归一化层来实现多模态图像的公平图像分割,并在多模态全心分割挑战中优于其他跨模态分割方法。
Oct, 2023
我们引入了第一个基于预训练扩散模型的零样本视频语义分割方法,该方法在各种视频语义分割基准测试中明显优于现有的零样本图像语义分割方法,并且在VSPW数据集上与有监督的视频语义分割方法不相上下,尽管它没有经过显式的VSS训练。
May, 2024
通过修改外观转移扩散模型的引导方式,使用现有分割掩模的类别特定AdaIN特征统计匹配,我们增加外观转移扩散模型在免疫组织化学染色图像中的适用性,实验证明模型训练所需的手动注释数量可以减少75%,超过基准方法,从而在监督上皮分割的下游任务上表现出色。预计这项工作将激发在计算病理学中应用零样本扩散模型的方法,提供一种生成具有无与伦比的保真度和逼真度的模拟图像的高效方法,这对于下游任务(例如训练现有的深度学习模型或微调基础模型)具有重要意义。
Jul, 2024
本研究针对多模态MRI数据集的获取难题,提出了一种交叉条件扩散模型(CDM),以提高医学图像翻译的合成质量和生成效率。通过设计模态特定表示模型和模态解耦扩散网络,CDM能够有效指导合成过程,实验结果显示该方法在BraTS2023和UPenn-GBM数据集上表现优越。
Sep, 2024
本研究解决了现有无监督领域适应方法在语义分割中,仅关注图像域适应而未利用其他丰富视觉模态(如深度、红外和事件)的问题。我们提出了一种新的模态适应方法MADM,利用预训练的文本到图像扩散模型生成更准确的伪标签,从而提升模型的跨模态能力。实验结果表明,MADM在图像到深度、红外和事件模态等多个任务上取得了最先进的适应性能。
Oct, 2024