Apr, 2021

端到端级联细化的图像修复及遮罩感知

PDF
TL;DR提出了一种新的基于掩模感知的修复算法，使用 Mask-Aware Dynamic Filtering (MADF) 学习缺失区域的多尺度特征，采用 Point-wise Normalization (PN) 动态分配权重，在一个端到端的框架中逐步利用重建损失、感知损失和总变分损失进行逐步优化。实验证明该算法在三个公共数据集上表现得非常出色。
inpaintingmask awaredynamic filteringpoint-wise normalizationend-to-end refinement
发现论文，激发创造
  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • 可学习的双向关注映射用于图像修复

    本文提出了一种可学习的注意力地图模块，用于端到端的学习特征重归一化和遮罩更新，在适应不规则孔和卷积层传播方面具有高效性。此外，引入了可学习的反向注意力地图，使解码器集中于填充不规则孔，而不是重构两个区域，结果显示我们的方法可以生成更清晰，更连贯和更逼真的修复结果，并提供源代码和预先训练的模型。

    Sep, 2019

  • HINT：具有掩膜感知编码和增强注意力的高质量修复变换器

    通过引入新颖的遮罩感知像素混洗下采样模块（MPD）和在模型内进行高级推理的同时保持提取自损坏图像的可见信息的完整性的方法，以及通过空间激活通道注意力层（SCAL）提供的有效自注意力机制在多个尺度上对损坏图像建模，我们提出了一种端到端的高质量修复变换器 (HINT)，该方法在 CelebA、CelebA-HQ、Places2 和敦煌等四个数据集上展示了超越当代最先进模型的卓越性能。

    Feb, 2024

  • 基于区域的生成对抗图像修复技术：针对大面积缺失区域

    我们提出了一个通用的修复损坏图像的网络，能够分开处理连续和不连续区域，使用区域卷积来处理已有区域和缺失区域，并引入互相关损失以提供更多信息。实验结果表明，相对于现有方法，我们的方法在整张图片上能更精确地还原出缺失的区域。

    Sep, 2019

  • 纹理增强的深度基于补全补丁的图像修复

    本文介绍了一种新的图像修复框架，其将传统的基于块的方法和深度学习网络的优势结合起来，即在深度修复网络中植入来自未遮盖区域的块样本，使用纹理记忆指导纹理生成并进行端到端的训练。同时，引入块分布损失以提高合成块的质量。该方法在三个具有挑战性的数据集上（Places，CelebA-HQ，Paris Street-View）表现出更优秀的性能。

    Sep, 2020

  • 基于生成多列卷积神经网络的图像修复

    本文提出了一种基于生成的多列网络来进行图像修复的方法，该方法通过采用置信度驱动的重建误差和多重随机场正则化来增强图像的全局和局部细节，在不需要进行后期处理的情况下，在挑战性的街景、人脸和自然场景下产生了令人信服的视觉效果。

    Oct, 2018

  • R-MNet: 用于图像修复的知觉对抗网络

    本研究提出了一种基于逆掩码网络的视知觉对抗网络，用于面部图像修复，该方法结合了一个新的反向掩码操作符和特征空间的损失函数。与现有最先进方法相比，我们的方法在高分辨率图像修复任务中产生更逼真的输出，更符合人类视觉系统的认知。

    Aug, 2020

  • 深度盲图像修复

    提出了一种盲图像修复算法，通过利用残差学习与编码解码结构来恢复缺失信息，以处理任意形状的损坏区域。

    Dec, 2017

  • 学习面向位置的隐含神经网络用于真实世界人脸修复

    提出了一种名为 IN²（Implicit Neural Inpainting Network）的方法，通过显式建模位置信息来处理现实世界场景中的任意形状人脸图像，包括降采样编码器、邻居混合注意力块和隐式神经金字塔解码器，实验证明该方法在现实世界的人脸修复任务中具有较高的效果。

    Jan, 2024

  • 学习先验特征和注意力增强图像修复

    本文提出使用受自我监督预训练的 MAE 方法，作为 inpainting 模型的新骨架，并加入 MAE 注意先验，以增强 inpainting 模型的长距离依赖性，验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。

    Aug, 2022