利用领域转移SDE驯化扩散先验进行图像超分辨率
本文介绍了一种新的方法,利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率,并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制,实现对任何大小分辨率的适应,并在综合评估中展示了该方法在超分辨率领域的优越性。
May, 2023
通过有效控制扩散模型回流过程中的随机性来提高预训练图像超分辨率模型的采样质量,在边界条件的选择上,我们通过对整个空间的高效探索来获取近似最优边界条件,并且通过我们的方法进行的采样结果质量要优于现有方法的随机结果。
May, 2023
本研究提出了一种名为ACDMSR(accelerated conditional diffusion model for image super-resolution)的新型扩散模型,通过预先训练的SR模型提供给定LR图像的条件图像来实现优秀的超分辨率结果,从而在可实践的场景中生成更具视觉逼真感的低分辨率图像。
Jul, 2023
为解决扩散图像超分辨率方法的低推理速度和性能下降问题,我们提出了一种新颖和高效的扩散模型,通过减少扩散步骤的数量,消除了推理过程中的加速要求以及性能恶化,并通过在高分辨率图像和低分辨率图像之间转移残差来显著提高转换效率。实验显示,该方法在合成和真实数据集上均能获得优秀或至少相当于当前最先进方法的性能,即使只使用15个采样步骤。
Jul, 2023
通过使用扩展的预训练文本图像模型进行扩散先验处理,本研究提出了基于频率补偿模块和样本空间多专家混合(SS-MoE)的潜在空间方法,以提高图像超分辨率的性能。
Oct, 2023
提出了一种名为SinSR的简单而有效的方法,通过仅需要一步推断即可生成超分辨率图像,同时利用新的一致性保持损失,以实现比之前最先进方法和教师模型更优的性能和高达10倍的推断加速。
Nov, 2023
本综述论文对应用于图像超分辨率的扩散模型(DMs)进行了概述,并进行了详细分析,强调了该领域的独特特征和方法论。它展示了DM基础知识的统一视角,并探索了包括替代输入域、条件策略、指导、失真空间和零样本方法等研究方向。此综述论文洞察了DMs在图像超分辨率中的演变,讨论了当前的趋势、挑战和未来方向。
Jan, 2024
基于扩散的方法在图像超分辨率 (ISR) 中拥有强大的生成先验,在最近受到越来越多的关注。然而,由于低分辨率 (LR) 图像经常遭受严重降质,ISR 模型难以感知语义和降质信息,导致恢复图像出现错误的内容或不切实际的伪影。为了解决这些问题,我们提出了一个基于跨模态先验的超分辨率 (XPSR) 框架。在XPSR中,我们利用了前沿的多模态大语言模型 (MLLMs) 来获取扩散模型的精确和全面的语义条件。为了更好地融合跨模态先验,我们引入了一个语义融合注意机制。为了提取保留语义信息而不是不需要的降质,我们在LR图像与其高分辨率 (HR) 对应物之间添加了无降质约束。定量和定性结果表明,XPSR能够在合成和真实世界数据集上生成高保真度和高真实性的图像。代码将在https://github.com/qyp2000/XPSR上发布。
Mar, 2024
本研究解决了现有扩散基础图像超分辨率方法在效率和降解模型应用上的不足。提出的单步超分辨率模型通过设计降解引导的低秩适应模块,显著提高了效率并利用低分辨率图像的降解信息,从而改善了结果的感知质量。实验结果表明,该模型在效率和效能上优于最新的先进方法。
Sep, 2024