Dec, 2023

适用于通用图像恢复的 Prompt-In-Prompt 学习

PDF
TL;DR基于 Prompt-In-Prompt 学习的图像修复模块（PIP）可以通过高效、易用的方式提升现有的图像修复模型，在图像去噪、去雨、去雾、去模糊和低光增强等多个任务上展现出卓越性能，且具备可解释性、灵活性和潜在的真实世界应用潜力。
image restorationdeep learningprompt-in-prompt learninguniversal restoration promptreal-world applications
发现论文，激发创造
  • PromptIR：全能盲图像恢复的提示

    该论文提出了一种 PromptIR 的快速恢复图像的方式，通过使用提示语对特定串行卷积网络的应用，在不同类型和级别的退化情况下提高了图像恢复性能，实现了对不同退化类型和级别的推广，并在图像去噪、去雨和去雾方面实现了最先进的结果。

    Jun, 2023

  • 文本提示引导的图像恢复

    本研究提出了一种有效的基于文本提示的图像修复模型，通过任务特定的 BERT 进行精确理解用户指令并生成文本提示，设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距，创新地将语义提示引入到低层视觉域中，实验证明该模型在公共去噪、去雾和去雨数据集上获得了显著优越的性能，能够准确识别和去除图像的退化，无需增加模型的复杂性。

    Dec, 2023

  • ProRes：探索对降级感知的视觉提示来进行通用图像恢复

    本文提出了一种利用降噪、去模糊等各种图像退化类型的可控视觉提示符来实现图像恢复的通用模型 ProRes，该模型可以简单调节以适应新任务，并且在控制和自适应性能方面比特定任务的方法更具竞争力。

    Jun, 2023

  • 基于 CNN 和 Transformer 的全功能图像修复

    本研究提出了一种基于数据要素导向的方法，通过利用基于提示的学习来实现单模型高效处理多种图像退化任务，结合卷积神经网络和 Transformer 模块的属性对高质量图像修复进行建模，并引入特征融合机制来改善聚合特征，所得到的 CAPTNet 架构能够处理不同类型的退化情况，在大量实验证明与专门的算法相比具有竞争性的表现。

    Sep, 2023

  • 将图像处理统一为视觉提示问题回答

    我们提出了一个名为 PromptGIP 的通用模型，通过视觉提示式问答范式统一了多样化的图像处理任务，消除了特定任务微调的需求。该方法提供了通用且适应性强的解决方案，可用于图像处理中的跨领域任务，包括图像恢复和图像增强。

    Oct, 2023

  • PromptCIR: 盲压缩图像恢复与提示学习

    基于 PromptCIR，我们设计了一种基于提示学习的压缩图像恢复网络，能够有效地从不同的压缩级别中恢复图像，通过优化骨干网络和动态提示模块来处理盲目的压缩图像恢复任务，并在盲目压缩图像增强轨道的 NTIRE 2024 挑战中获得第一名。

    Apr, 2024

  • DaLPSR：针对现实世界图像超分辨率的损失对齐语言提示

    本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。

    Jun, 2024

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023

  • 看见无形：一种以频率提示为导向的图像修复变压器

    图像修复中的频率提示方法（FPro）通过从频率角度提供有效提示组件来引导修复模型，实现了优于其他方法的性能。

    Mar, 2024