CVPRMar, 2024

文本引导的可探索式图像超分辨率

PDF
TL;DR本文介绍了零样本文本引导下的开放领域图像超分辨率探索问题，提出了两种零样本文本引导超分辨率的方法，涉及生成过程、扩散模型和恢复方法，实现了匹配语义意义并保持数据一致性的多样解决方案，优化了极端超分辨率任务的恢复质量、多样性和可探索性。
zero-shot text-guided explorationopen-domain image super-resolutiongenerative processdiffusion modelsrestoration methods
发现论文，激发创造
  • SeeSR: 面向语义感知的现实世界图像超分辨率

    通过训练一个 degradation-aware 提取器，我们提出了一种针对生成式真实世界图像超分辨率的语义感知方法，以更好地保留语义保真度，同时将低分辨率图像整合到初始采样噪声中以减少过多的随机细节生成，实验结果表明我们的方法可以重现更现实的图像细节并更好地保持语义。

    Nov, 2023

  • 重新思考超分辨率，作为基于文本的细节生成技术

    本文提出了一种基于语义图像细节增强的图像超分辨率方法，其中利用文本和图像模态的多模态融合学习来提高图像的语义准确性和视觉质量。该方法通过粗到细的过程生成文本描述匹配的高分辨率图像细节，实验证明该方法具有显著的效果。

    Jul, 2022

  • 基于识别引导的内容感知文本超分辨率

    本文提出了一种基于内容感知的文本超分辨率网络，通过使用文本感知损失来指导超分辨率网络的训练，从而更加关注文本内容，有效提高了文本识别的性能。

    Sep, 2019

  • 引导式超分辨率：像素到像素转换

    该研究提出了一种新颖的向导超分辨率方法，将问题视为像素级向导图到源图像域的映射，使用无监督学习和多层感知机来参数化映射函数，达到超分辨率的效果，并在深度图和树高图两个任务中均优于其他基线算法。

    Apr, 2019

  • 场景文本图像超分辨率的识别引导扩散模型

    在场景文本图像超分辨率的研究中，通过引入一种生成模型 RGDiffSR 和一种去噪网络 RGDN，本文通过语义引导实现了场景文本图像的高保真度图像增强，从而在文本识别准确度和图像保真度方面都取得了优于现有方法的结果。

    Nov, 2023

  • CasSR: 激活图像力量的真实世界图像超分辨率

    通过级联扩散控制模型和多重注意机制，本研究提出了一种图像超分辨率方法，其目标是从降质版本中生成高质量、清晰的图像。研究结果表明该方法在提高图像还原的准确性和真实性方面非常有效和优越。

    Mar, 2024

  • 野外场景文本图像超分辨率

    本文提出一种用于自然场景摄影下的低分辨率文本识别的新方法，该方法利用超分辨率技术对图像进行预处理，并开发了一种真实场景文本超分辨率数据集（TextZoom）。我们引入了三个新型模块，包括序列残差块、边界感知损失和中央对齐模块。通过对 TextZoom 数据集的广泛实验，我们证明了我们的 TSRN 模型具有显著提升低分辨率文本识别准确性的能力。

    May, 2020

  • 零样本文本指导的视频到视频转换

    本研究提出了一种基于零样本文本引导的视频到视频转换框架来适应图像模型到视频的应用，在形状、纹理和颜色上强制执行分层的跨帧约束，实现低成本下的全局样式和局部纹理的时空一致性。

    Jun, 2023

  • 用于文本到图像扩散模型的零样本空间布局调节

    使用文本生成图像的方法已显著提高了生成图像建模的状态，通过结合自然语言界面和空间控制，在本文中，我们考虑了与图像画布上特定位置对象相关的文本生成图像的问题，并提出了 ZestGuide，这是一种零 - shot 分割指导方法，可插入预先训练的文本到图像扩散模型中，我们的实验结果表明，在精准对齐所需的输入分割的情况下，与使用相应分割进行训练的组件相比，提高了图像质量，而在 COCO 数据集上，我们的结果比 Paint with Words 更好。

    Jun, 2023

  • 基于文本的图像处理方法：语义与恢复指导

    开发了一个基于文本的图像处理框架（TIP），可以通过自然语言作为用户友好界面来控制图像恢复过程，并通过语言的定量规范实现细粒度的指导，以达到更好的恢复性能。

    Dec, 2023