Jun, 2023

地中海 - 阿尔卑斯弧线区域古代壁画的深度图像先验修复

PDF
TL;DR本文介绍了一种基于 Deep Image Prior 算法的图像修复方法，该方法对于数字人文领域中古老壁画的修复效果优于基于变分 / PDEs 和基于块的方法。作者通过将修复数据引入到一个未经过训练的卷积神经网络中，利用可靠信息匹配来完成修复。作为案例研究，作者将这种方法应用于地中海阿尔卑斯山区几个小教堂内高度损坏的中世纪画作的图像修复，并提供了详细描述。
发现论文，激发创造
  • 深度图像先验分析与图像重建中的自引导利用

    通过分析深度图像先验（DIP）的训练动态，我们揭示了 DIP 基于核函数制度下从欠采样图像测量中恢复信息的重要属性；通过引入参考图像作为网络输入并结合新颖的去噪正则化项，我们提出了一种自引导重建方法，通过同时优化网络权重和输入，消除了训练数据的需求，并在磁共振图像重建方面超过了传统 DIP 和现代监督方法，并且在图像修补中也优于之前基于 DIP 的方案。

    Feb, 2024

  • 探究基于深度图像先验的对抗防御：一种新颖的基于重建的防御框架

    针对深度学习图像分类模型易受恶意注入噪声的对抗攻击，本文基于深度图像先验提出了一种新颖有效的重建防御框架，并且分析和明确地将模型决策过程纳入了防御范畴，通过倒推清晰的 “干净样本”，最终构造出一幅可以被正确识别的图像，实验表明，在白盒、防御感知攻击下，该方法表现出优异的防御效果且重建图像的视觉质量较高。

    Jul, 2021

  • DeepRED: 基于 RED 提供动力的深度图像先验

    该论文介绍了一种将深度学习技术与反问题相结合的方法 ——Deep Image Prior（DIP），并提出了一种新的正则化方法 Regularization by Denoising（RED），将 DIP 与 RED 相结合，建立了高效的无监督反问题恢复流程，并通过多个测试问题证明其有效性。

    Mar, 2019

  • NAS-DIP: 用神经架构搜索学习深度图像先验

    本文提出使用神经架构搜索算法来寻找升级版的卷积神经网络，以用作结构化图像先验，从而进行各种反向图像恢复任务，通过大量实验结果验证了此方法的有效性。

    Aug, 2020

  • 使用语义指导的交互式图像修复

    本研究提出了一种新的图像修复方法，结合了神经网络的先验知识和用户的引导，使用自动编码器和语义解码器完成两个阶段，实现对修复结果的自定义控制，实验结果表明该方法在修复质量和可控性方面优于现有方法。

    Jan, 2022

  • 学习先验特征和注意力增强图像修复

    本文提出使用受自我监督预训练的 MAE 方法，作为 inpainting 模型的新骨架，并加入 MAE 注意先验，以增强 inpainting 模型的长距离依赖性，验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。

    Aug, 2022

  • SDIP：自强化深度图像先验框架用于图像处理

    本文提出了自我强化深度图像先验（SDIP）作为原来深度图像先验（DIP）的改进版本，并证明了在多个应用领域中，SDIP 框架相较于原始 DIP 方法和其他先进方法具有改善。

    Apr, 2024

  • 通过架构正则化：一种逆问题的深度先验方法

    本文研究了在不适定逆问题上应用的所谓深度图像先验（DIP）技术，介绍了将这些方法视为 Tikhonov 函数的优化而不是网络优化的方法。通过理论结果和数值验证，证明了这种方法的可行性。

    Dec, 2018

  • DeepGIN: 极端图像修复的深层生成填充网络

    本文提出了一种名为 DeepGIN 的深度生成修复网络，采用空间金字塔扩张 ResNet、多尺度自注意力机制和反向投影技术等方法实现多种类型图像修复，且在 FFHQ 和 Oxford Buildings 数据集中比其他具有代表性的方法表现更好。

    Aug, 2020

  • 利用深度生成先验进行多功能图像修复和操作

    本文介绍了一种有效利用生成对抗网络 (DGP) 捕获的图像先验的方法，它可以恢复各种退化图像中缺失的语义信息，还可以进行多样化的图像操作，通过松弛现有的 GAN 反演方法的假设，允许生成器以渐进的方式进行微调，并在 GAN 中的鉴别器处获得的特征距离作为正则项。这些易于实现和实用的改变有助于保持重构，使其保持在自然图像流形中，从而可以更准确、更忠实地重构真实图像。

    Mar, 2020