通过预训练模型的先验知识提升图像恢复能力

CVPRMar, 2024

通过预训练模型的先验知识提升图像恢复能力

Boosting Image Restoration via Priors from Pre-trained Models

Xiaogang Xu, Shu Kong, Tao Hu, Zhe Liu, Hujun Bao

TL;DR使用大规模训练数据的预训练模型在各种高层次的计算机视觉任务中表现出色，但在低层次的图像修复任务中的潜力仍未得到充分探索。本文通过引入一个名为 Pre-Train-Guided Refinement Module (PTG-RM) 的轻量级模块，使用预训练模型的特征优化目标图像修复网络的修复结果，并通过各种实验验证了其在降噪、去雨、去模糊和低光照增强等任务中有效提升修复性能。

Abstract

pre-trained models with large-scale training data, such as CLIP and Stable Diffusion, have demonstrated remarkable performance in various high-level computer vision tasks such as image understanding and generation from language descriptions. Yet, their potential for low-level tasks suc

pre-trained models image restoration pre-train-guided refinement module osf restoration performance

发现论文，激发创造

AdaptIR：面向预训练图像恢复模型的参数高效多任务适应

提出了 AdaptIR，一种适应预训练恢复模型的新型参数高效迁移学习方法，通过采用多分支入射结构来正交地捕捉局部空间、全局空间和通道交互，以实现在非常低的参数预算下的强大表示。实验证明，该方法仅使用 0.6% 的参数就能达到与全微调相当甚至更好的性能。

Dec, 2023

图像恢复中 SAM 先验探究

该研究论文利用新型的图像分割神经网络，提出一种轻量级的先验调整单元，将先验知识融入现有的 IR 网络，提高了图像还原的质量。

May, 2023

通过迭代预条件引导的去噪扩散模型进行图像恢复

训练深度神经网络已成为解决图像恢复问题的常用方法，本文提出了一种基于预条件的新型引导技术，它在恢复方案中的实现要比现有方法简单，同时对噪声具有抗干扰性，适用于图像去模糊和超分辨率的任务。

Dec, 2023

可完全训练和可解释的非局部稀疏模型用于图像恢复

本文提出了一种新的可微分松弛联合稀疏性方法，利用非局部自相似性和稀疏性原则进行图像恢复，经实验证明该方法参数少，性能与现有先进方法相当或更好。

Dec, 2019

预训练模型引导的零样本对抗鲁棒性微调

本研究提出了预训练模型引导的对抗微调（PMG-AFT）方法，通过精心设计辅助分支，利用原始预训练模型的监督来增强模型的零样本对抗鲁棒性。对 15 个零样本数据集进行的广泛实验证明，PMG-AFT 在顶部 1 的抗干扰准确性方面显著优于最先进的方法，平均提高了 4.99%。此外，我们的方法还能持续改善干净准确性，平均提高了 8.72%。

Jan, 2024

通过模型重编程实现对样本外退化的泛化

该研究提出了一种模型重新编程框架，通过量子力学和波函数的方式将样本之外的退化转化为已知的修复模型退化，以提高修复模型对样本之外退化的处理能力。

Mar, 2024

UGPNet：通用图像修复生成先验

本文提出了 UGPNet，这是一个通用图像修复框架，通过采用现有的回归模型和生成模型的组合，有效地实现了回归和生成方法的优点，能够成功地实现高保真图像修复。

Dec, 2023

超越对齐：通过解析引导的时域一致性变换进行盲视频人脸修复

基于语义解析的时间相干转换器 (PGTFormer) 的盲视频人脸修复方法在保持时间相干性、生成无瑕疵结果方面表现出色，通过利用语义解析引导选取最优人脸先验生成具备时间相关性的结果，实验表明该方法优于之前的基线方法。

Apr, 2024

使用增强视觉 Transformer 进行图像重建

本文提出了一个基于 Vision Transformer (ViT) 的图像重构框架，利用 4 种优化技术和生成对抗网络（GANs）启发的对抗性损失函数，用于图像去噪和修复，实验表明该框架在结构相似性（SSIM）方面比 U-Net 模型高出超过 3.5％，对于这两个任务，提议的增强算法进一步展示了超过基准的 extasciitilde5％SSIM 的改进。

Jul, 2023

文本提示引导的图像恢复

本研究提出了一种有效的基于文本提示的图像修复模型，通过任务特定的 BERT 进行精确理解用户指令并生成文本提示，设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距，创新地将语义提示引入到低层视觉域中，实验证明该模型在公共去噪、去雾和去雨数据集上获得了显著优越的性能，能够准确识别和去除图像的退化，无需增加模型的复杂性。

Dec, 2023