图像超分辨率的二值扩散模型
本综述论文对应用于图像超分辨率的扩散模型(DMs)进行了概述,并进行了详细分析,强调了该领域的独特特征和方法论。它展示了 DM 基础知识的统一视角,并探索了包括替代输入域、条件策略、指导、失真空间和零样本方法等研究方向。此综述论文洞察了 DMs 在图像超分辨率中的演变,讨论了当前的趋势、挑战和未来方向。
Jan, 2024
本研究提出了 BinaryDM,一种新颖的准确的量化感知训练方法,以将扩散模型的权重推向 1 位极限。使用 Learnable Multi-basis Binarizer (LMB) 来恢复二元化扩散模型生成的表示,并使用 Low-rank Representation Mimicking (LRM) 来提高二元化感知优化。通过渐进的初始化策略训练扩散模型,可以避免收敛困难。全面的实验证明,与超低位宽下的 DM 的 SOTA 量化方法相比,BinaryDM 在精度和效率上都取得了显著的改进。作为扩散模型的第一种二元化方法,BinaryDM 在具有 1 位权重和 4 位激活的情况下可实现 16.0 倍的 FLOPs 和 27.1 倍的存储节省,展示了其在资源有限场景中的巨大优势和潜力。
Apr, 2024
提出了一种名为 DiffMSR 的高效扩散模型,用于多对比度磁共振成像的超分辨率重建,通过在高度紧凑的低维潜空间中应用扩散模型生成高频详细信息的先验知识,并设计了 PLWformer 作为解码器,使重建的 MR 图像保持无失真。在公共和临床数据集上的大量实验表明,DiffMSR 优于现有方法。
Apr, 2024
本研究提出了一种名为 ACDMSR(accelerated conditional diffusion model for image super-resolution)的新型扩散模型,通过预先训练的 SR 模型提供给定 LR 图像的条件图像来实现优秀的超分辨率结果,从而在可实践的场景中生成更具视觉逼真感的低分辨率图像。
Jul, 2023
本文探讨了网络二值化在单图像超分辨率中的应用,给出了一种只对残差块中的卷积滤波器进行二值化并采用可学习权重的方法,实验表明该方法在保持重构精度的同时能够显著减小模型大小并提供更高的推理速度。
Dec, 2018
通过级联扩散控制模型和多重注意机制,本研究提出了一种图像超分辨率方法,其目标是从降质版本中生成高质量、清晰的图像。研究结果表明该方法在提高图像还原的准确性和真实性方面非常有效和优越。
Mar, 2024
提出了一种名为 SinSR 的简单而有效的方法,通过仅需要一步推断即可生成超分辨率图像,同时利用新的一致性保持损失,以实现比之前最先进方法和教师模型更优的性能和高达 10 倍的推断加速。
Nov, 2023
我们提出了 SAM-DiffSR 模型,通过将细粒度结构信息编码到分割掩膜中,并在正向扩散过程中调制噪声,实现了对图像质量的改善,同时不增加推理过程中的计算成本。在 DIV2K 数据集上的实验结果表明,我们的方法在抑制伪影方面表现出卓越的性能,并且在 PSNR 方面超过现有的基于扩散的方法高达 0.74 dB。
Feb, 2024
本文提出了一种适用于资源有限的移动设备的高效 HSI 修复方法 —— 二值化光谱重分布网络(BiSRNet),其通过将基础模型二值化并使用可缩放的双曲正切函数来逼近符号函数的方式来重新分配 HSI 表现,并使用四个二值卷积模块来解决尺寸不匹配问题,证明了其优于现有的二值化方法,且与全精度算法达到相当的性能水平。
May, 2023
色彩引导的深度图超分辨率技术通过扩展高品质彩色图像来提高低质量深度图像的空间分辨率,利于 3D 重建、虚拟现实和增强现实等多方面应用。本文提出一种新颖的深度图超分辨率范式,利用扩散模型在潜在空间中生成深度图超分辨率的引导。该方法包括引导生成网络,深度图超分辨网络和引导恢复网络,并结合简单而有效的特征融合模块和 Transformer 风格的特征提取模块,使其能够在多模型图像的提取、融合和重建中利用引导先验知识。经过广泛的实验证明,在准确性和效率方面,我们的方法在与现有先进方法对比时展现出卓越的性能。我们的代码将在此 https 的 URL 进行公开共享。
Nov, 2023