Mar, 2024

XPSR：基于扩散的跨模态图像超分辨率的先验

PDF
TL;DR基于扩散的方法在图像超分辨率 (ISR) 中拥有强大的生成先验，在最近受到越来越多的关注。然而，由于低分辨率 (LR) 图像经常遭受严重降质，ISR 模型难以感知语义和降质信息，导致恢复图像出现错误的内容或不切实际的伪影。为了解决这些问题，我们提出了一个基于跨模态先验的超分辨率 (XPSR) 框架。在 XPSR 中，我们利用了前沿的多模态大语言模型 (MLLMs) 来获取扩散模型的精确和全面的语义条件。为了更好地融合跨模态先验，我们引入了一个语义融合注意机制。为了提取保留语义信息而不是不需要的降质，我们在 LR 图像与其高分辨率 (HR) 对应物之间添加了无降质约束。定量和定性结果表明，XPSR 能够在合成和真实世界数据集上生成高保真度和高真实性的图像。代码将在 https://github.com/qyp2000/XPSR 上发布。
diffusion-basedimage super-resolutioncross-modal priors for super-resolution (xpsr)multimodal large language models (mllms)semantic-fusion attention
发现论文，激发创造
  • DaLPSR：针对现实世界图像超分辨率的损失对齐语言提示

    本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。

    Jun, 2024

  • 基于语义指导的大规模因子化遥感图像超分辨率生成扩散先验

    通过利用预训练的生成模型作为先验，结合结构和语义线索，以及提取感知一致的传感器特性并模拟其分布，从而提高遥感影像的超分辨率。实验证明了该方法的卓越性能和广泛适用性。

    May, 2024

  • SeeSR: 面向语义感知的现实世界图像超分辨率

    通过训练一个 degradation-aware 提取器，我们提出了一种针对生成式真实世界图像超分辨率的语义感知方法，以更好地保留语义保真度，同时将低分辨率图像整合到初始采样噪声中以减少过多的随机细节生成，实验结果表明我们的方法可以重现更现实的图像细节并更好地保持语义。

    Nov, 2023

  • 利用扩散先验进行实际图像超分辨率

    本文介绍了一种新的方法，利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率，并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制，实现对任何大小分辨率的适应，并在综合评估中展示了该方法在超分辨率领域的优越性。

    May, 2023

  • SRDiff：扩散概率模型单图超分辨率

    本文提出一种基于扩散概率模型的单幅图像超分辨率方法，通过优化数据可能性的变分下界进行模型训练，并通过引入残差预测以加速收敛。该方法在 CelebA 和 DIV2K 数据集上进行了实验验证，实验结果表明，该方法在性能上领先以往的方法，并具有生成丰富细节的不同超分辨率结果、小型化、灵活的图像操作等优点。

    Apr, 2021

  • CasSR: 激活图像力量的真实世界图像超分辨率

    通过级联扩散控制模型和多重注意机制，本研究提出了一种图像超分辨率方法，其目标是从降质版本中生成高质量、清晰的图像。研究结果表明该方法在提高图像还原的准确性和真实性方面非常有效和优越。

    Mar, 2024

  • 重新思考超分辨率，作为基于文本的细节生成技术

    本文提出了一种基于语义图像细节增强的图像超分辨率方法，其中利用文本和图像模态的多模态融合学习来提高图像的语义准确性和视觉质量。该方法通过粗到细的过程生成文本描述匹配的高分辨率图像细节，实验证明该方法具有显著的效果。

    Jul, 2022

  • 基于参考图像的图像超分辨率的细节增强框架

    通过引入扩散模型来生成和增强低分辨率图像中的细节，本文提出了一种用于基于参考的超分辨率的细节增强框架（DEF），能够促进对齐，同时避免参考图像的影响，实验结果表明该方法在视觉效果上具有优势同时保持可比较的数值结果。

    May, 2024

  • 面向真实世界的单张图像超分辨率：新的基准和新的模型

    本文提出了一种基于 Laplacian 金字塔的核预测网络（LP-KPN）来恢复高分辨率图像，通过使用实际拍摄的 LR-HR 图像对构建 RealSR 数据集，证明了使用此数据集训练的 SISR 模型在真实场景中能够提供更好的视觉效果，且模型能够适应不同的相机设备。

    Apr, 2019

  • 提高内容一致超分辨率扩散模型的稳定性

    通过采用扩散模型来改善图像结构以及利用生成对抗训练来增强图像细节，我们提出了一种名为内容一致超分辨率（CCSR）的方法，大大减少了基于扩散先验的超分辨率的随机性，提高了超分辨率输出的内容一致性并加速了图像生成过程。

    Dec, 2023