Jan, 2024

遵循人类指令的高质量图像修复

PDF
TL;DR使用人类编写的指令指导图像修复模型，InstructIR 能从多种退化类型的图像中恢复高质量图像，包括图像去噪、去雨、去模糊、去雾和低光图像增强等多个恢复任务，并在这些任务上实现了最新的结果，此方法还提供了一个新的基准，用于文本指导的图像修复和增强的研究。
image restorationall-in-one image restoration modelshuman-written instructionsinstructirtext-guided image restoration
发现论文，激发创造
  • PromptIR：全能盲图像恢复的提示

    该论文提出了一种 PromptIR 的快速恢复图像的方式，通过使用提示语对特定串行卷积网络的应用，在不同类型和级别的退化情况下提高了图像恢复性能，实现了对不同退化类型和级别的推广，并在图像去噪、去雨和去雾方面实现了最先进的结果。

    Jun, 2023

  • 文本提示引导的图像恢复

    本研究提出了一种有效的基于文本提示的图像修复模型，通过任务特定的 BERT 进行精确理解用户指令并生成文本提示，设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距，创新地将语义提示引入到低层视觉域中，实验证明该模型在公共去噪、去雾和去雨数据集上获得了显著优越的性能，能够准确识别和去除图像的退化，无需增加模型的复杂性。

    Dec, 2023

  • 面向深度图像恢复的按需学习

    本文提出一种基于反馈机制的面向难度级别泛化的深度卷积神经网络图像修复模型自动生成的算法，旨在避免 “固定” 模型对于固定难度级别的训练。实验表明，在四个图像修复任务上，本算法均优于传统训练和课程学习替代方案。

    Dec, 2016

  • 适用于通用图像恢复的 Prompt-In-Prompt 学习

    基于 Prompt-In-Prompt 学习的图像修复模块（PIP）可以通过高效、易用的方式提升现有的图像修复模型，在图像去噪、去雨、去雾、去模糊和低光增强等多个任务上展现出卓越性能，且具备可解释性、灵活性和潜在的真实世界应用潜力。

    Dec, 2023

  • 基于文本的图像处理方法：语义与恢复指导

    开发了一个基于文本的图像处理框架（TIP），可以通过自然语言作为用户友好界面来控制图像恢复过程，并通过语言的定量规范实现细粒度的指导，以达到更好的恢复性能。

    Dec, 2023

  • 学习忠实地遵循以物体为中心的图像编辑指令

    自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

    Oct, 2023

  • 灵活图像修复

    在图像修复中，人们常常希望根据指令去除特定的图像退化现象，本文提出了一种名为 TransRFIR 的新型建模方法，它通过感知图像中的不同退化类型并根据文本提示去除特定的退化，该方法基于两个设计的注意力模块，即 MHASA 和 MHACA，具有较低的计算成本和优秀的性能，可以作为图像修复的一种有效架构。

    Apr, 2024

  • 在野外应用具有控制能力的视觉语言模型进行照片逼真图像修复

    采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

    Apr, 2024

  • 检索任何人：一项带指导的通用人员再识别任务

    本文提出了一种新的人物 ReID 任务，即 instruct-ReID，该任务要求根据给定的图像或语言指令检索图像，提出了一个基于大规模 OmniReID 基准数据集和自适应三元组损失的基线方法来促进在这个新场景下的研究，实验结果表明，基于该 benchmark 训练的基线模型可以提高市场 1501 和 CUHK03 的传统 ReID 上的 mAP，各种衣服变化 ReID 上的 mAP，并在语言指导的 ReID 上进一步提高。

    Jun, 2023

  • 通过去除文本表示的退化来提高图像恢复

    通过将图像转化为文本表示形式，结合文字的降级移除能力和图像的详细描述能力，提出了一种图像恢复新方法，通过映射降级图像为文本表示进行去除降级，再将恢复后的文本表示转化为图像指导信息进行图像恢复。在各种图像恢复任务中展示了我们的方法优于现有方法的结果。

    Dec, 2023