Nov, 2023

SeeSR: 面向语义感知的现实世界图像超分辨率

PDF
TL;DR通过训练一个 degradation-aware 提取器，我们提出了一种针对生成式真实世界图像超分辨率的语义感知方法，以更好地保留语义保真度，同时将低分辨率图像整合到初始采样噪声中以减少过多的随机细节生成，实验结果表明我们的方法可以重现更现实的图像细节并更好地保持语义。
generative priorstext-to-image diffusion modelsreal-world image super-resolutionsemantic fidelitydegradation-aware prompt extractor
发现论文，激发创造
  • DaLPSR：针对现实世界图像超分辨率的损失对齐语言提示

    本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。

    Jun, 2024

  • 图像超分辨率与文本提示扩散

    通过引入文本提示到图像超分辨率中，使用预训练语言模型和扩散模型，实现了优秀的合成和真实图像上的结果。

    Nov, 2023

  • CasSR: 激活图像力量的真实世界图像超分辨率

    通过级联扩散控制模型和多重注意机制，本研究提出了一种图像超分辨率方法，其目标是从降质版本中生成高质量、清晰的图像。研究结果表明该方法在提高图像还原的准确性和真实性方面非常有效和优越。

    Mar, 2024

  • 文本引导的可探索式图像超分辨率

    本文介绍了零样本文本引导下的开放领域图像超分辨率探索问题，提出了两种零样本文本引导超分辨率的方法，涉及生成过程、扩散模型和恢复方法，实现了匹配语义意义并保持数据一致性的多样解决方案，优化了极端超分辨率任务的恢复质量、多样性和可探索性。

    Mar, 2024

  • 利用扩散先验进行实际图像超分辨率

    本文介绍了一种新的方法，利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率，并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制，实现对任何大小分辨率的适应，并在综合评估中展示了该方法在超分辨率领域的优越性。

    May, 2023

  • 重新思考超分辨率，作为基于文本的细节生成技术

    本文提出了一种基于语义图像细节增强的图像超分辨率方法，其中利用文本和图像模态的多模态融合学习来提高图像的语义准确性和视觉质量。该方法通过粗到细的过程生成文本描述匹配的高分辨率图像细节，实验证明该方法具有显著的效果。

    Jul, 2022

  • DeeDSR：通过降级感知稳定扩散实现实际场景图像超分辨率

    我们引入了一种新的、适应于低分辨率图像的、双阶段的、具有降级意识的框架，通过使用无监督对比学习获取图像降级的表示，并将降级意识模块集成到简化的 ControlNet 中，在各种降级情况下灵活地适应不同的降级，有效恢复更加精确和逼真的细节，表现出在各种基准测试中的最先进性能。

    Mar, 2024

  • 基于任务驱动感知损失的图像识别超分辨率

    本文提出了一种名为 SR4IR 的图像超分辨率增强方法，通过引导生成助于实现低分辨率图像处理时的满意图像识别性能的超分辨率图像。该方法使用了任务驱动感知损失来帮助超分辨率网络从专门为特定任务定制的网络中获取任务特定的知识，并通过交叉质量补丁混合和交替训练框架显著增强了任务驱动感知损失的效果。通过广泛的实验，证明了 SR4IR 在语义分割、目标检测和图像分类等特定图像识别任务中取得了出色的任务性能。

    Apr, 2024

  • SUR-adapter：使用大型语言模型增强文本到图像预训练扩散模型

    该研究探讨了如何改进文本生成图像的模型的问题，提出了一种称为 Semantic Understanding and Reasoning adapter (SUR-adapter) 的参数高效微调方法，以提高短文本输入的语义理解和常识推理能力，进而用提高的文本语义表征生成高质量图像。

    May, 2023

  • CoSeR：连接图像和语言的认知超分辨率

    引入 Cognitive Super-Resolution (CoSeR) 框架，通过融合图像外观和语言理解生成认知嵌入，激活大型文本到图像扩散模型的先前信息，并通过提供高质量参考图像优化超分辨率过程，以此修复语义正确和逼真的细节。

    Nov, 2023