Jan, 2024

学习面向位置的隐含神经网络用于真实世界人脸修复

PDF
TL;DR提出了一种名为 IN²（Implicit Neural Inpainting Network）的方法，通过显式建模位置信息来处理现实世界场景中的任意形状人脸图像，包括降采样编码器、邻居混合注意力块和隐式神经金字塔解码器，实验证明该方法在现实世界的人脸修复任务中具有较高的效果。
face inpaintingimplicit neural inpainting networkposition informationreal-world scenariosfacial understanding ability
发现论文，激发创造
  • 增量变换器结构增强的图像修复与遮盖位置编码

    该论文提出了一种基于注意力机制的变形器模型依次恢复整体图像结构，利用一个附加的结构修复器，通过零初始化残差加法有效地集成预训练修补模型，采用掩膜位置编码策略提高了不规则掩膜修补效果。

    Mar, 2022

  • LaFIn: 基于地标引导的人脸修复生成模型

    本文提出了一种基于深度学习的人脸修复算法，结合人脸关键点预测和图像修复，实现了对人脸姿态、表情和遮挡等多方面的修复。在 CelebA-HQ 和 CelebA 数据集上的实验表明，该算法在视觉效果和定量评估上均超过了现有算法。同时，本文还发现高质量的修复图像和其关键点可以有效提高关键点预测模型的性能，在 300W 和 WFLW 数据集上也得到了验证。

    Nov, 2019

  • 可学习的双向关注映射用于图像修复

    本文提出了一种可学习的注意力地图模块，用于端到端的学习特征重归一化和遮罩更新，在适应不规则孔和卷积层传播方面具有高效性。此外，引入了可学习的反向注意力地图，使解码器集中于填充不规则孔，而不是重构两个区域，结果显示我们的方法可以生成更清晰，更连贯和更逼真的修复结果，并提供源代码和预先训练的模型。

    Sep, 2019

  • 学习先验特征和注意力增强图像修复

    本文提出使用受自我监督预训练的 MAE 方法，作为 inpainting 模型的新骨架，并加入 MAE 注意先验，以增强 inpainting 模型的长距离依赖性，验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。

    Aug, 2022

  • 端到端级联细化的图像修复及遮罩感知

    提出了一种新的基于掩模感知的修复算法，使用 Mask-Aware Dynamic Filtering (MADF) 学习缺失区域的多尺度特征，采用 Point-wise Normalization (PN) 动态分配权重，在一个端到端的框架中逐步利用重建损失、感知损失和总变分损失进行逐步优化。实验证明该算法在三个公共数据集上表现得非常出色。

    Apr, 2021

  • 使用语义指导的交互式图像修复

    本研究提出了一种新的图像修复方法，结合了神经网络的先验知识和用户的引导，使用自动编码器和语义解码器完成两个阶段，实现对修复结果的自定义控制，实验结果表明该方法在修复质量和可控性方面优于现有方法。

    Jan, 2022

  • SuperInpaint：学习细节增强的注意力隐式表示进行超分辨率图像修复

    通过引入细节增强的注意力隐式表示（DEAR）方法，该研究旨在解决低分辨率图像中的遗失区域恢复和生成任意高分辨率的图像，并通过使用单一模型在高质量完成的图像方面取得成功。

    Jul, 2023

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 使用多尺度神经补丁合成的高分辨率图像修复

    提出一种基于多尺度神经网络贴片合成方法的图像修复算法，通过联合优化图像内容和纹理约束，不仅保留了上下文结构，而且通过匹配最相似的中间层特征相关性，产生高频细节。在 ImageNet 和 Paris Streetview 数据集上，该方法取得了最先进的修复准确性。

    Nov, 2016

  • Shift-Net: 基于深度特征重排的图像修复

    本文提出了一种名为 Shift-Net 的 U-Net 架构的特殊移位连接层，用于使用编码器任务中已知的区域以估算缺失部分，并通过引入辅助损失函数来训练整个模型，实现图像修复中具有更加清晰，精细纹理和逼真视觉效果的结果。

    Jan, 2018