ICCVSep, 2019

可学习的双向关注映射用于图像修复

PDF
TL;DR本文提出了一种可学习的注意力地图模块，用于端到端的学习特征重归一化和遮罩更新，在适应不规则孔和卷积层传播方面具有高效性。此外，引入了可学习的反向注意力地图，使解码器集中于填充不规则孔，而不是重构两个区域，结果显示我们的方法可以生成更清晰，更连贯和更逼真的修复结果，并提供源代码和预先训练的模型。
convolutional networkinpaintingpartial convolutionlearnable attention map moduleu-net
发现论文，激发创造
  • 使用部分卷积进行不规则孔洞的图像修复

    本文介绍了使用部分卷积方法进行图像修补，着重解决了现有方法中出现的颜色不匹配和模糊度高的问题，并通过实验证明了方法的有效性。

    Apr, 2018

  • 学习先验特征和注意力增强图像修复

    本文提出使用受自我监督预训练的 MAE 方法，作为 inpainting 模型的新骨架，并加入 MAE 注意先验，以增强 inpainting 模型的长距离依赖性，验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。

    Aug, 2022

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 端到端级联细化的图像修复及遮罩感知

    提出了一种新的基于掩模感知的修复算法，使用 Mask-Aware Dynamic Filtering (MADF) 学习缺失区域的多尺度特征，采用 Point-wise Normalization (PN) 动态分配权重，在一个端到端的框架中逐步利用重建损失、感知损失和总变分损失进行逐步优化。实验证明该算法在三个公共数据集上表现得非常出色。

    Apr, 2021

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • 图像修复的一致语义注意力

    提出了一种使用新型的连贯的语义注意力（CSA）层和深度生成模型的方法来进行图像修复的深度学习方法，能够更好地模拟孔特征之间的语义相关性，经过在多个数据集上的验证，该方法在图像修复领域取得了优异的成果。

    May, 2019

  • 基于上下文注意力机制和 SRGAN 的图像修复系统

    该研究使用深度学习、图像分类和计算机视觉技术的综合方法，利用全称为生成对抗网络（GAN）和上下文关注机制实现图像修复

    Apr, 2022

  • 双向与自回归变换器的多样图像修复

    BAT-Fill 提出了一种图像修复的新框架，使用了基于 transformers 的双向自回归模型，在考虑到上下文信息的基础上修复缺失或破损的区域，使得修缮后的图片具有更好的内容多样性和视觉效果。

    Apr, 2021

  • 使用语义指导的交互式图像修复

    本研究提出了一种新的图像修复方法，结合了神经网络的先验知识和用户的引导，使用自动编码器和语义解码器完成两个阶段，实现对修复结果的自定义控制，实验结果表明该方法在修复质量和可控性方面优于现有方法。

    Jan, 2022

  • 学习面向位置的隐含神经网络用于真实世界人脸修复

    提出了一种名为 IN²（Implicit Neural Inpainting Network）的方法，通过显式建模位置信息来处理现实世界场景中的任意形状人脸图像，包括降采样编码器、邻居混合注意力块和隐式神经金字塔解码器，实验证明该方法在现实世界的人脸修复任务中具有较高的效果。

    Jan, 2024