Feb, 2024

PromptRR：扩散模型作为单图反射去除的提示生成器

PDF
TL;DR该研究提出了一种新型的 PromptRR 框架，使用频率信息作为视觉提示来改进去除反射的效果，并利用特殊生成的提示集成到 PromptFormer 网络中，采用基于 Transformer 的提示块来有效引导模型进行增强反射去除。结果表明，该方法优于现有的方法。
single image reflection removaldeep learningfrequency informationprompt-guided restorationtransformer-based prompt block
发现论文，激发创造
  • PromptFix: 通过您的提示改善照片质量

    通过构建一个大规模指示遵循数据集，以及提出高频率引导采样方法和辅助提示适配器，即 PromptFix，使扩散模型在各种图像处理任务中优于以往方法，同时在盲恢复和组合任务中展现出卓越的零样本能力。

    May, 2024

  • 看见无形：一种以频率提示为导向的图像修复变压器

    图像修复中的频率提示方法（FPro）通过从频率角度提供有效提示组件来引导修复模型，实现了优于其他方法的性能。

    Mar, 2024

  • PromptIR：全能盲图像恢复的提示

    该论文提出了一种 PromptIR 的快速恢复图像的方式，通过使用提示语对特定串行卷积网络的应用，在不同类型和级别的退化情况下提高了图像恢复性能，实现了对不同退化类型和级别的推广，并在图像去噪、去雨和去雾方面实现了最先进的结果。

    Jun, 2023

  • 图像超分辨率与文本提示扩散

    通过引入文本提示到图像超分辨率中，使用预训练语言模型和扩散模型，实现了优秀的合成和真实图像上的结果。

    Nov, 2023

  • 镜面扩散：通过提示重述和更多方法稳定零样本图像翻译过程

    最近，文字到图像扩散模型成为图像处理领域的一种新范式，包括内容生成、图像恢复和图像到图像的转换。本文提出了一种 Prompt 重新描述策略，以实现扩散模型中源图像和重构图像的镜像效应，从而实现准确的零样本图像翻译。

    Jan, 2024

  • 基于迭代提示重标记的扩散模型与 RLDF

    我们提出了迭代提示重新标记 (IP-RLDF) 算法，通过迭代图像采样和提示重新标记将图像与文本对齐。IP-RLDF 在三种不同模型上进行了彻底实验，包括 SDv2、GLIGEN 和 SDXL，测试了它们根据指令生成图像的能力，并在具有挑战性的空间关系 VISOR 基准测试中实现了高达 15.22% 的改进，相比之前的 RL 方法表现出更强的性能。

    Dec, 2023

  • DaLPSR：针对现实世界图像超分辨率的损失对齐语言提示

    本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。

    Jun, 2024

  • BeautifulPrompt: 文本到图像合成的自动提示工程化

    我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

    Nov, 2023

  • 朝着人工引导的灵活互动去除反射

    本文讨论了单幅图像去反射问题的不确定性，提出了一种基于灵活交互的去反射方法，利用稀疏人工引导作为辅助高级先验，通过转化人工输入形式并设计掩码引导的去反射网络，实现了在各种数据集上具有领先性能的反射去除。

    Jun, 2024

  • 反向稳定扩散：生成此图像所使用的提示是什么？

    预测生成式扩散模型所生成图像的文本提示，采用联合回归和多标签词汇分类目标的新型学习框架，结合白盒和黑盒模型解决生成文本提示的问题，并通过课程学习和领域自适应核学习方法进一步改进。实验结果表明，该学习框架在预测文本提示任务上取得了出色的结果，尤其在白盒模型上应用时效果最好，并发现在生成文本到图像时将该模型用于回收训练能够使生成的图像与输入提示更好地对齐。

    Aug, 2023