图像超分辨率的高效条件扩散模型与概率流采样
本研究提出了一种名为 ACDMSR(accelerated conditional diffusion model for image super-resolution)的新型扩散模型,通过预先训练的 SR 模型提供给定 LR 图像的条件图像来实现优秀的超分辨率结果,从而在可实践的场景中生成更具视觉逼真感的低分辨率图像。
Jul, 2023
为解决扩散图像超分辨率方法的低推理速度和性能下降问题,我们提出了一种新颖和高效的扩散模型,通过减少扩散步骤的数量,消除了推理过程中的加速要求以及性能恶化,并通过在高分辨率图像和低分辨率图像之间转移残差来显著提高转换效率。实验显示,该方法在合成和真实数据集上均能获得优秀或至少相当于当前最先进方法的性能,即使只使用 15 个采样步骤。
Jul, 2023
通过图像条件实现的一种新颖的有条件蒸馏方法,将扩散模型的先验知识与图像条件相结合,大大简化了以往两阶段的蒸馏过程,并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制,实验结果表明,该方法在多个任务上的表现优于现有的人工蒸馏技术,并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。
Oct, 2023
本文提出了一种自回归、端到端优化的视频扩散模型,受到神经视频压缩技术的启发,可用于生成高质量的视频,并提出了可扩展的连续排名概率得分(CRPS)方法,以评估视频的概率预测能力,该方法在自然和仿真视频的多个数据集上比先前方法的感知质量和概率预测有着显著的提高。
Mar, 2022
本文提出了一种基于扩散模型的统一条件框架,结合了轻量级 UNet 和固有的差异模型来增强图像恢复的物理约束,采用基本和集成模块实现了对所有块的引导和其他辅助条件信息的整合,并提出了简单而有效的截距补丁分裂策略,将其用于低光量去噪、去模糊和 JPEG 图像恢复的挑战任务中,得到了显著的感知质量提升和恢复任务的推广。
May, 2023
构建快速采样器以进行无条件扩散和流匹配模型近期备受关注;然而,现有方法在解决超分辨率、修复或去模糊等逆问题时仍需要数百到数千次迭代步骤以获得高质量结果。我们提出了一种插拔式框架用于构建逆问题的高效采样器,只需要预先训练的扩散模型或流匹配模型。我们提出了条件共轭积分器,利用逆问题的具体形式将各自的条件扩散 / 流动动力学投影到更易处理的采样空间中。我们评估了所提方法在多个数据集上的各种线性图像修复任务的性能,采用了扩散和流匹配模型。尤其是在 ImageNet 数据集上的 4 倍超分辨率等具有挑战性的逆问题中,我们的方法能够在仅 5 个条件采样步骤中生成高质量样本,并优于需要 20-1000 步的竞争基准。我们的代码和模型将在此 https URL 公开。
May, 2024
本文提出了一种隐式扩散模型 (IDM),采用神经表示和去噪扩散模型,实现了高保真持续图像超分辨率,其缩放因子在最终输出中调节低分辨率信息和生成的特征的占比,它使模型适应连续分辨率需求,实验验证了 IDM 的有效性和优越表现。
Mar, 2023
本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型,提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练,获得了最佳结果;此外,我们的模型自然地采用渐进式有损解压缩方案,可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上,我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上,我们获得了与 ProgressiveGAN 相似的样本质量。
Jun, 2020
本文介绍了一种新的方法,利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率,并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制,实现对任何大小分辨率的适应,并在综合评估中展示了该方法在超分辨率领域的优越性。
May, 2023
本文提出一种基于扩散概率模型的单幅图像超分辨率方法,通过优化数据可能性的变分下界进行模型训练,并通过引入残差预测以加速收敛。该方法在 CelebA 和 DIV2K 数据集上进行了实验验证,实验结果表明,该方法在性能上领先以往的方法,并具有生成丰富细节的不同超分辨率结果、小型化、灵活的图像操作等优点。
Apr, 2021