医学图像翻译的串联多路径快捷扩散模型
使用频域滤波器来指导扩散模型,以实现结构保留图像翻译的频率引导扩散模型(FGDM),同时在医学图像翻译中具有零样本学习的能力。 该模型在结构保留医学图像翻译任务中具有良好的性能。
Apr, 2023
提出了基于潜在扩散模型的多模态图像转换模型,通过使用切换块进行图像到图像转换,解决了临床实践中获取多种模态图像的难题,实现了高质量的目标模态生成。
Nov, 2023
本研究介绍了一种高效有效的方法,MeDM,利用预训练的图像扩散模型进行视频到视频的翻译,保持一致的时间流。该提出的框架可以从场景位置信息(如常规 G 缓冲区)渲染视频,或对在真实场景中捕获的视频进行文本引导编辑。我们采用显式光流构建了一种实用编码方式,对生成的帧施加物理约束并调节独立的逐帧评分。通过利用这种编码,确保生成的视频在时间上保持一致可以被看作是一个具有闭合形式解的优化问题。为确保与稳定扩散的兼容性,我们还提出了一种方法修改潜在空间扩散模型中的观察空间评分。值得注意的是,MeDM 不需要对扩散模型进行微调或测试时优化。通过对各种基准测试进行广泛的定性、定量和主观实验证明了该方法的有效性和优越性。
Aug, 2023
该论文介绍了 Med-DDPM,这是一种使用扩散模型进行语义 3D 医学图像合成的创新解决方案,解决了医学成像中的普遍问题,如数据稀缺、不一致的采集方法和隐私问题。
May, 2023
稀疏视图计算机断层扫描(CT)图像重建是一种重要方法,可以降低辐射暴露,但必然导致图像质量下降。本研究引入了一种新的级联扩散与差异缓解(CDDM)框架,包括潜空间中的低质量图像生成和像素空间中的高质量图像生成,在一个步骤的重建过程中实现了数据一致性和差异缓解。级联框架通过将一些推理步骤从像素空间移动到潜空间,从而降低了计算成本。差异缓解技术解决了由数据一致性引起的训练 - 采样差距问题,确保数据分布接近原始流形。本研究还采用了专用的交替方向乘法器方法(ADMM)来处理图像梯度,提供了一种更有针对性的正则化方法。两个数据集上的实验结果表明,与现有方法相比,CDDM 在高质量图像生成方面具有更清晰的边界,并突出了该框架的计算效率。
Mar, 2024
最近,文字到图像扩散模型成为图像处理领域的一种新范式,包括内容生成、图像恢复和图像到图像的转换。本文提出了一种 Prompt 重新描述策略,以实现扩散模型中源图像和重构图像的镜像效应,从而实现准确的零样本图像翻译。
Jan, 2024
本研究介绍了一种频率解耦的扩散模型(FDDM),通过在转换过程中将医学图像的频率分量在傅里叶域中分离,实现保留结构并高质量转换图像。通过公开的脑部 MR-to-CT 转换数据集进行了广泛评估,结果表明 FDDM 在产生高度逼真的目标领域图像的同时保持了翻译的解剖结构的准确性。
Nov, 2023
提出一种新颖的无需对抗训练的图像分类方法,该方法使用基于去噪扩散概率模型的单张图像转换方法。我们的方法是通过最小化以另一个域为条件的去噪得分匹配目标来训练生成模型以推断图像的联合分布。我们同时更新域翻译模型,并通过基于 Langevin 动力学的去噪马尔科夫链蒙特卡罗方法来生成目标域图像。该方法在几个公共数据集上实现了最先进的 Frechet Inception Distance(FID)性能,包括彩色和多光谱影像,并明显优于当前的对抗图像转换方法。
Apr, 2021
通过对抗学习目标,将单步扩散模型通过整合各种模块成为单一的端到端生成网络,以提高其保留输入图像结构并减少过拟合的能力,我们的模型在非配对设置下优于现有的基于 GAN 和扩散的方法,实现了各种场景转换任务,如昼夜转换和添加 / 删除雾、雪和雨等天气效果;在配对设置中,我们的模型与现有的作品如 Sketch2Photo 和 Edge2Image 的 Control-Net 不相上下,但具有单步推理。
Mar, 2024
提出了一种名为 DiffI2I 的简单、高效和强大的 I2I 扩散模型,通过引入紧凑的 I2I 先验提取网络(CPEN),动态 I2I 转换器(DI2Iformer)和去噪网络来解决了传统 DM 在某些 I2I 任务中的效率和生成能力方面的问题。通过在各种 I2I 任务上进行广泛实验证明,DiffI2I 在显著减少计算负担的同时达到了 SOTA 水平。
Aug, 2023