Jan, 2018

Shift-Net: 基于深度特征重排的图像修复

PDF
TL;DR本文提出了一种名为 Shift-Net 的 U-Net 架构的特殊移位连接层，用于使用编码器任务中已知的区域以估算缺失部分，并通过引入辅助损失函数来训练整个模型，实现图像修复中具有更加清晰，精细纹理和逼真视觉效果的结果。
convolutional networksimage inpaintingshift-connection layeru-net architectureend-to-end learning
发现论文，激发创造
  • 上下文编码器：通过修补学习特征

    本研究提出了一种无监督的视觉特征学习方法，称为 Context Encoders，利用卷积神经网络通过上下文预测像素来对图像进行重构，该方法通过重构加对抗性损失双重学习获得更加清晰的结果，这种学习到的特征在分类、检测和分割等任务中表现出了很好的效果。

    Apr, 2016

  • 使用金字塔 - 上下文编码器网络进行高质量图像修复

    本文提出了一种基于 U-Net 结构的金字塔上下文编码网络 (PEN-Net)，并且使用深度生成模型实现图像修复，并通过逐层传递学习到的注意力，使得修复图像在视觉和语义上具有一致性和真实感。

    Apr, 2019

  • 通过带有特征均衡的相互编码器 - 解码器重新思考图像修复

    本研究提出了一种互联的编码器 - 解码器卷积神经网络，用于联合填补结构和纹理的空洞区域，其中使用来自编码器深层和浅层的 CNN 特征表示输入图像的结构和纹理，使用双侧传播激活函数实现空间均衡。实验结果表明，所提出的方法对于恢复结构和纹理非常有效，并且与最先进的方法相比表现出优异的性能。

    Jul, 2020

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 端到端级联细化的图像修复及遮罩感知

    提出了一种新的基于掩模感知的修复算法，使用 Mask-Aware Dynamic Filtering (MADF) 学习缺失区域的多尺度特征，采用 Point-wise Normalization (PN) 动态分配权重，在一个端到端的框架中逐步利用重建损失、感知损失和总变分损失进行逐步优化。实验证明该算法在三个公共数据集上表现得非常出色。

    Apr, 2021

  • 仅需简单卷积移位：设计高效的卷积神经网络用于图像分类

    本文介绍了一种基于 Sparse Shift Layer（SSL）的卷积神经网络构建方法，最终构建出只有 1x1 卷积层和少量位移操作的网络结构，通过优化和量化学习方法实现了极高的准确率和实用速度。

    Mar, 2019

  • 增量变换器结构增强的图像修复与遮盖位置编码

    该论文提出了一种基于注意力机制的变形器模型依次恢复整体图像结构，利用一个附加的结构修复器，通过零初始化残差加法有效地集成预训练修补模型，采用掩膜位置编码策略提高了不规则掩膜修补效果。

    Mar, 2022

  • 可学习的双向关注映射用于图像修复

    本文提出了一种可学习的注意力地图模块，用于端到端的学习特征重归一化和遮罩更新，在适应不规则孔和卷积层传播方面具有高效性。此外，引入了可学习的反向注意力地图，使解码器集中于填充不规则孔，而不是重构两个区域，结果显示我们的方法可以生成更清晰，更连贯和更逼真的修复结果，并提供源代码和预先训练的模型。

    Sep, 2019

  • 学习面向位置的隐含神经网络用于真实世界人脸修复

    提出了一种名为 IN²（Implicit Neural Inpainting Network）的方法，通过显式建模位置信息来处理现实世界场景中的任意形状人脸图像，包括降采样编码器、邻居混合注意力块和隐式神经金字塔解码器，实验证明该方法在现实世界的人脸修复任务中具有较高的效果。

    Jan, 2024

  • 使用具有对称跳跃连接的非常深的卷积编码器 - 解码器网络进行图像恢复

    本文提出了一种具有对称连接多层卷积和反卷积操作的深度全卷积编码 - 解码框架，通过跳层连接缓解了梯度消失的问题，实现了优越的图像修复性能。

    Mar, 2016