Jun, 2024

DaLPSR：针对现实世界图像超分辨率的损失对齐语言提示

PDF
TL;DR本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。
image super-resolutiondiffusion-based modelsdegradation-aligned language promptimage restorationstate-of-the-art methods
发现论文，激发创造
  • 图像超分辨率与文本提示扩散

    通过引入文本提示到图像超分辨率中，使用预训练语言模型和扩散模型，实现了优秀的合成和真实图像上的结果。

    Nov, 2023

  • SeeSR: 面向语义感知的现实世界图像超分辨率

    通过训练一个 degradation-aware 提取器，我们提出了一种针对生成式真实世界图像超分辨率的语义感知方法，以更好地保留语义保真度，同时将低分辨率图像整合到初始采样噪声中以减少过多的随机细节生成，实验结果表明我们的方法可以重现更现实的图像细节并更好地保持语义。

    Nov, 2023

  • 文本提示引导的图像恢复

    本研究提出了一种有效的基于文本提示的图像修复模型，通过任务特定的 BERT 进行精确理解用户指令并生成文本提示，设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距，创新地将语义提示引入到低层视觉域中，实验证明该模型在公共去噪、去雾和去雨数据集上获得了显著优越的性能，能够准确识别和去除图像的退化，无需增加模型的复杂性。

    Dec, 2023

  • XPSR：基于扩散的跨模态图像超分辨率的先验

    基于扩散的方法在图像超分辨率 (ISR) 中拥有强大的生成先验，在最近受到越来越多的关注。然而，由于低分辨率 (LR) 图像经常遭受严重降质，ISR 模型难以感知语义和降质信息，导致恢复图像出现错误的内容或不切实际的伪影。为了解决这些问题，我们提出了一个基于跨模态先验的超分辨率 (XPSR) 框架。在 XPSR 中，我们利用了前沿的多模态大语言模型 (MLLMs) 来获取扩散模型的精确和全面的语义条件。为了更好地融合跨模态先验，我们引入了一个语义融合注意机制。为了提取保留语义信息而不是不需要的降质，我们在 LR 图像与其高分辨率 (HR) 对应物之间添加了无降质约束。定量和定性结果表明，XPSR 能够在合成和真实世界数据集上生成高保真度和高真实性的图像。代码将在 https://github.com/qyp2000/XPSR 上发布。

    Mar, 2024

  • DeeDSR：通过降级感知稳定扩散实现实际场景图像超分辨率

    我们引入了一种新的、适应于低分辨率图像的、双阶段的、具有降级意识的框架，通过使用无监督对比学习获取图像降级的表示，并将降级意识模块集成到简化的 ControlNet 中，在各种降级情况下灵活地适应不同的降级，有效恢复更加精确和逼真的细节，表现出在各种基准测试中的最先进性能。

    Mar, 2024

  • 在野外应用具有控制能力的视觉语言模型进行照片逼真图像修复

    采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

    Apr, 2024

  • PromptIR：全能盲图像恢复的提示

    该论文提出了一种 PromptIR 的快速恢复图像的方式，通过使用提示语对特定串行卷积网络的应用，在不同类型和级别的退化情况下提高了图像恢复性能，实现了对不同退化类型和级别的推广，并在图像去噪、去雨和去雾方面实现了最先进的结果。

    Jun, 2023

  • 适用于通用图像恢复的 Prompt-In-Prompt 学习

    基于 Prompt-In-Prompt 学习的图像修复模块（PIP）可以通过高效、易用的方式提升现有的图像修复模型，在图像去噪、去雨、去雾、去模糊和低光增强等多个任务上展现出卓越性能，且具备可解释性、灵活性和潜在的真实世界应用潜力。

    Dec, 2023

  • ProRes：探索对降级感知的视觉提示来进行通用图像恢复

    本文提出了一种利用降噪、去模糊等各种图像退化类型的可控视觉提示符来实现图像恢复的通用模型 ProRes，该模型可以简单调节以适应新任务，并且在控制和自适应性能方面比特定任务的方法更具竞争力。

    Jun, 2023

  • CasSR: 激活图像力量的真实世界图像超分辨率

    通过级联扩散控制模型和多重注意机制，本研究提出了一种图像超分辨率方法，其目标是从降质版本中生成高质量、清晰的图像。研究结果表明该方法在提高图像还原的准确性和真实性方面非常有效和优越。

    Mar, 2024