实现有效的多合一图像恢复：一种顺序和迅速学习策略

Jan, 2024

实现有效的多合一图像恢复：一种顺序和迅速学习策略

Towards Effective Multiple-in-One Image Restoration: A Sequential and Prompt Learning Strategy

Xiangtao Kong, Chao Dong, Lei Zhang

TL;DR本研究探讨了多个任务的图像恢复问题，提出了解决不同目标优化和适应性的策略，即顺序学习和提示学习，在 19 个测试集上得出了这些策略能够显著提高普通 CNN 和 Transformer 模型的综合性能，为训练具有更高泛化能力的图像恢复模型提供了新的理论和方法。

Abstract

While single task image restoration (IR) has achieved significant successes, it remains a challenging issue to train a single model which can tackle multiple IR tasks. In this work, we investigate in-depth the multiple-

single task image restoration multiple-in-one sequential learning prompt learning mio ir

发现论文，激发创造

基于任务自适应路由的一体化医学图像恢复

提出了一种任务自适应路由策略的全能医疗图像恢复网络，实现了状态 - of-the-art 性能在 MRI 超分辨率、CT 降噪和 PET 合成等三个医疗图像恢复任务中。

May, 2024

PromptIR：全能盲图像恢复的提示

该论文提出了一种 PromptIR 的快速恢复图像的方式，通过使用提示语对特定串行卷积网络的应用，在不同类型和级别的退化情况下提高了图像恢复性能，实现了对不同退化类型和级别的推广，并在图像去噪、去雨和去雾方面实现了最先进的结果。

Jun, 2023

Restorer: 使用一组参数解决多个图像恢复任务

通过 Transformer 网络 Restorer，我们设计了一种综合有效的解决方案，能够在去雨、去雪、去雾、去模糊等多种图像修复任务中展现国际领先或可比较的性能，并且在推理时速度更快。

Jun, 2024

基于 CNN 和 Transformer 的全功能图像修复

本研究提出了一种基于数据要素导向的方法，通过利用基于提示的学习来实现单模型高效处理多种图像退化任务，结合卷积神经网络和 Transformer 模块的属性对高质量图像修复进行建模，并引入特征融合机制来改善聚合特征，所得到的 CAPTNet 架构能够处理不同类型的退化情况，在大量实验证明与专门的算法相比具有竞争性的表现。

Sep, 2023

遵循人类指令的高质量图像修复

使用人类编写的指令指导图像修复模型，InstructIR 能从多种退化类型的图像中恢复高质量图像，包括图像去噪、去雨、去模糊、去雾和低光图像增强等多个恢复任务，并在这些任务上实现了最新的结果，此方法还提供了一个新的基准，用于文本指导的图像修复和增强的研究。

Jan, 2024

DRM-IR: 全能图像恢复的任务自适应深度展开网络

该研究提出了一种基于动态参考建模范式的高效 All-In-One 图像复原方法，该方法采用一对相互纠缠的基于参考的最大后验概率推断，实现任务自适应的降噪建模和模型图像还原，同时提供了显式的灵活性和可解释性。

Jul, 2023

基于稳健 DINO 特征的多任务图像修复

我们引入 DINO-IR，一种新颖的多任务图像修复方法，利用从 DINOv2 提取的稳健特征，通过使用浅层特征捕捉低级图像特征、深层特征保证鲁棒语义表征且不敏感于退化、并使用专门的组件进行特征集成，包括多层语义融合模块、DINO-Restore 调适与融合模块以及 DINO 感知对比损失，该方法在各种任务上优于现有的多任务图像修复方法，凸显了增强鲁棒特征对于多任务图像修复的优越性和必要性。

Dec, 2023

多模态提示感知器：全能图像恢复的适应性、普适性和保真度

本研究介绍了 MPerceiver：一种新颖的多模态提示学习方法，利用稳定扩散先验增强了全方位图像修复的适应性、普适性和保真性。通过开发双分支模块，该方法掌握了两种类型的稳定扩散提示：文本提示用于整体表示和视觉提示用于多尺度细节表示。MPerceiver 使用 CLIP 图像编码器的退化预测动态调整这两种提示，从而能够对不同的未知退化进行自适应响应。此外，插件细节优化模块通过直接的编码器到解码器信息转换提高了修复保真性。实验证明，MPerceiver 在全方位图像修复的 9 个任务上经过多任务预训练，优于大多数专门任务的特定方法。在低级视觉方面，MPerceiver 表现出出色的零样本和少样本能力。在 16 个图像修复任务和 26 个基准测试上的大量实验证实了 MPerceiver 在适应性、普适性和保真性方面的优越性。

Dec, 2023

一种全方位的多降级图像恢复网络基于层次化降级表示

我们提出了一种全能多退化图像恢复网络 (AMIRNet)，通过聚类逐步构建树状结构，学习未知退化图像的退化表示，并利用特征转换模块 (FTB) 弥补领域差异，从而实现从各种未知失真中恢复高质量图像的目标。

Aug, 2023

一次性图像修复

本文提出了一种高效的基于图像补丁学习的框架，仅需一个图像输入输出对进行训练，实验证明该方法适用于监督式图像去模糊和超分辨率任务，并显著提高了学习模型的样本效率、泛化能力和时间复杂度。

Apr, 2024