利用深度生成先验进行多功能图像修复和操作

ECCVMar, 2020

利用深度生成先验进行多功能图像修复和操作

Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation

Xingang Pan, Xiaohang Zhan, Bo Dai, Dahua Lin, Chen Change Loy...

TL;DR本文介绍了一种有效利用生成对抗网络 (DGP) 捕获的图像先验的方法，它可以恢复各种退化图像中缺失的语义信息，还可以进行多样化的图像操作，通过松弛现有的 GAN 反演方法的假设，允许生成器以渐进的方式进行微调，并在 GAN 中的鉴别器处获得的特征距离作为正则项。这些易于实现和实用的改变有助于保持重构，使其保持在自然图像流形中，从而可以更准确、更忠实地重构真实图像。

Abstract

Learning a good image prior is a long-term goal for image restoration and manipulation. While existing methods like deep image prior (DIP) capture low-level image statistics, there are still gaps toward an image prior that captures rich image semantics including color, spatial coherenc

image restoration image manipulation generative adversarial network deep generative prior feature distance

发现论文，激发创造

深度图像先验

本文研究了深度卷积神经网络用于图像生成和修复的方法，以及使用神经网络作为手工先验的能力，展示了这种方法在标准的逆问题中的卓越效果以及在检测深度神经网络表示和基于闪光和非闪光输入对图像进行修复方面的同等效果。

Nov, 2017

无监督动态磁共振成像重建的图像先验

通过图像恢复和流形发现两个阶段之间的图卷积网络，我们提出了一种新的方案来利用 DIP 先验进行动态 MRI 重建，名为 “图像先验”（GIP）。实验证明，GIP 在不同的采样轨迹上优于压缩感知方法和无监督方法，并显著减少了与最先进的监督深度学习方法之间的性能差距。此外，GIP 在转移到不同的重建设置时显示出更好的泛化能力，无需任何额外的数据。

Mar, 2024

深度图像先验分析与图像重建中的自引导利用

通过分析深度图像先验（DIP）的训练动态，我们揭示了 DIP 基于核函数制度下从欠采样图像测量中恢复信息的重要属性；通过引入参考图像作为网络输入并结合新颖的去噪正则化项，我们提出了一种自引导重建方法，通过同时优化网络权重和输入，消除了训练数据的需求，并在磁共振图像重建方面超过了传统 DIP 和现代监督方法，并且在图像修补中也优于之前基于 DIP 的方案。

Feb, 2024

使用多代码生成对抗网络（GAN）进行图像处理

本研究提出了一种基于多个潜在代码和自适应通道重要性的方案，称为 mGANprior，该方案利用准确训练的生成对抗网络模型的有效先验来改善图像重构质量，在图像处理中具有广阔的应用前景。

Dec, 2019

具有生成图像先验的语义照片处理

本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

May, 2020

生成扩散先验用于图像修复和增强

本文提出一种基于无监督学习的生成扩散先验（GDP）方法，采用预训练的去噪扩散生成模型（DDPM）来有效地建模后验分布，并通过优化去噪过程中的退化模型参数来实现盲图像恢复，进一步采用分层引导和基于块的方法，使 GDP 能够产生任意分辨率的图像。实验结果表明，GDP 在各种图像重建质量和感知质量的基准测试中优于当前的领先无监督方法，在各种任务和各种图像大小的数据集上都表现良好。

Apr, 2023

DeepRED: 基于 RED 提供动力的深度图像先验

该论文介绍了一种将深度学习技术与反问题相结合的方法 ——Deep Image Prior（DIP），并提出了一种新的正则化方法 Regularization by Denoising（RED），将 DIP 与 RED 相结合，建立了高效的无监督反问题恢复流程，并通过多个测试问题证明其有效性。

Mar, 2019

探究基于深度图像先验的对抗防御：一种新颖的基于重建的防御框架

针对深度学习图像分类模型易受恶意注入噪声的对抗攻击，本文基于深度图像先验提出了一种新颖有效的重建防御框架，并且分析和明确地将模型决策过程纳入了防御范畴，通过倒推清晰的 “干净样本”，最终构造出一幅可以被正确识别的图像，实验表明，在白盒、防御感知攻击下，该方法表现出优异的防御效果且重建图像的视觉质量较高。

Jul, 2021

基于生成式面部先验的实际盲目人脸修复

本文提出了一种利用预训练人脸 GAN 中不同先验知识的 GFP-GAN 盲目人脸修复方法，其通过创新的通道分离空间特征变换层将生成式人脸先验纳入人脸修复过程，达到真实性和保真度之间的良好平衡。与 GAN 反演法相比，GFP-GAN 能够通过单个前向传递联合修复面部细节并增强颜色。大量实验表明，我们的方法在合成和实际数据集上比现有技术具有优越的性能。

Jan, 2021

使用深度图像先验和学习正则化的压缩感知技术

通过未经训练的深度生成模型提出一种新方法，解决压缩感知恢复问题，具有比以前的方法更好的性能，并且不需要大规模数据集的预训练。同时，结合了关于网络权重的先验知识的新型学习正则技术，减少了重建误差。最后，通过 DIP 优化方法，证明了适度超参数的单层神经网络可以完美拟合任何信号，这一理论结果为提前停止提供了依据。

Jun, 2018