CVPRMar, 2022

增量变换器结构增强的图像修复与遮盖位置编码

PDF
TL;DR该论文提出了一种基于注意力机制的变形器模型依次恢复整体图像结构，利用一个附加的结构修复器，通过零初始化残差加法有效地集成预训练修补模型，采用掩膜位置编码策略提高了不规则掩膜修补效果。
image inpaintingstructure recoveryattention-based modelstransformer modelpositional encoding
发现论文，激发创造
  • MAT: 大洞图像修复的掩模感知 Transformer

    本文提出了一种基于 transformer 的大孔修复模型，它结合了大尺寸的图像处理和 transformer 的优势，通过在注意力模块中定制面向修复的 transformer 块并使用动态掩码来聚合非局部信息，得到了在多个基准数据集上最先进的效果。

    Mar, 2022

  • 学习结构知识以进行图像修复

    本文提出一个多任务学习框架，通过图像结构知识来辅助图像修复，并引入结构嵌入方案和注意机制来提供图像修复的前提条件和优化生成的结果，在多任务学习，结构嵌入和注意力机制的共同作用下，该框架充分利用结构知识，并在基准数据集上优于几种最先进的方法。

    Feb, 2020

  • 学习先验特征和注意力增强图像修复

    本文提出使用受自我监督预训练的 MAE 方法，作为 inpainting 模型的新骨架，并加入 MAE 注意先验，以增强 inpainting 模型的长距离依赖性，验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。

    Aug, 2022

  • HINT：具有掩膜感知编码和增强注意力的高质量修复变换器

    通过引入新颖的遮罩感知像素混洗下采样模块（MPD）和在模型内进行高级推理的同时保持提取自损坏图像的可见信息的完整性的方法，以及通过空间激活通道注意力层（SCAL）提供的有效自注意力机制在多个尺度上对损坏图像建模，我们提出了一种端到端的高质量修复变换器 (HINT)，该方法在 CelebA、CelebA-HQ、Places2 和敦煌等四个数据集上展示了超越当代最先进模型的卓越性能。

    Feb, 2024

  • 基于 Transformer 的图像和视频修复：当前挑战与未来方向

    本文综述了当前图像或视频修复方法，特别关注基于 Transformer 的技术，旨在突出显著改进的方法，为图像或视频修复领域的新研究者提供指南，并通过其架构配置、损伤类型和性能指标对基于 Transformer 的技术进行分类。另外，我们提出了当前挑战的整理综合，以及对图像或视频修复领域未来研究的建议。

    Jun, 2024

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • 深度结构化基于能量的图像修复

    本文提出了一种采用能量模型的结构化图像修复方法，通过卷积神经网络学习图像的结构关系以及缺失区域，并在多个基准数据集上进行实验，发现其明显优于使用生成对抗网络的现有方法。

    Jan, 2018

  • StructureFlow: 结构感知外观流进行图像修复

    本文提出了一个两阶段模型来解决图像修复中细节和结构重建的问题，第一阶段采用保边平滑图像训练结构重建器，第二阶段基于重构的结构设计纹理生成器来生成图像细节，实验证明该模型表现优异。

    Aug, 2019

  • 基于纹理和结构双重生成的图像修补

    该研究提出了一种新的双流网络方法，能够模拟结构约束纹理合成和纹理引导结构重构，并且通过 Bi-directional Gated Feature Fusion 模块和 Contextual Feature Aggregation 模块实现更好的全局一致性和多尺度特征聚合，定量和定性实验证明了该方法的优越性。

    Aug, 2021

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018