Jun, 2024

缺失图像修复：一种评估视觉转换解释方法的新框架

PDF
TL;DR借助 “Inpainting the Gaps（InG）” 这一创新的评估框架，针对计算机视觉领域中的解释方法，本研究通过修复图像中的空缺部分，降低测试时间分布漂移，提高了扰动测试的效果，并在 Vision Transformer（ViT）的三种训练策略上进行了 PartImageNet 数据集的评估，发现 Beyond Intuition 和 Generic Attribution 是最一致的解释模型，此外，该框架还在所有考虑的 ViT 模型中得到了更高和更一致的评估分数。在我们所了解的范围内，InG 是评估 ViT 解释方法的第一个半合成框架。
perturbation testevaluationexplanation methodsinpainting the gapsvision transformer
发现论文，激发创造
  • 基于 Transformer 的图像和视频修复：当前挑战与未来方向

    本文综述了当前图像或视频修复方法，特别关注基于 Transformer 的技术，旨在突出显著改进的方法，为图像或视频修复领域的新研究者提供指南，并通过其架构配置、损伤类型和性能指标对基于 Transformer 的技术进行分类。另外，我们提出了当前挑战的整理综合，以及对图像或视频修复领域未来研究的建议。

    Jun, 2024

  • GRIG：少样本生成式残差图像修复

    提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法，通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果，并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。

    Apr, 2023

  • 缺陷检测的修复变压器

    这篇论文提出了一种使用自注意力方法的纯补全变换模型，用于计算机视觉中的异常检测，其使用深度学习自动编码器来识别图像中的异常部分，并可实现区分性补全，同时提高了检测结果的准确性。

    Apr, 2021

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016

  • 基于上下文的图像修复：推断、匹配和翻译

    本文提出了一种基于深度神经网络和纹理传播的学习方法来完成图像修复，通过分离任务为推理和翻译两个步骤并用简单的启发式算法指导局部纹理从边界到空洞的传播，我们证明了我们的方法在几个公共数据集上能够产生比以前的最先进方法更高质量的视觉结果。

    Nov, 2017

  • 填写 ____ （基于扩散的图像修复流程）

    图像修复是将图像中的缺失或故意遮挡部分恢复出来的过程，在现代修复技术中，我们提供了当前主要方法的概述和评估，并着重解决了现有模型在生成过程中缺乏提示和控制能力的问题，并提供了多种实现该功能的方法。最终，通过对生成的高质量图像进行定性检查，我们评估了我们的方法的结果是否能正确地修复指定区域。

    Mar, 2024

  • JPGNet：联合预测滤波和生成网络用于图像修复

    本文提出了一套联合预测滤波和生成网络的混合框架 JpgNet，通过结合预测滤波网络和生成网络，同时保留局部结构和整体理解，并提出了一种不确定性感知融合网络，可用于图像修复领域。在 Dunhuang、Places2 和 CelebA 等数据集上的实验表明，这项技术可以显著改善三种最先进的生成模型，同时时间成本略有增加。

    Jul, 2021

  • 服装和背景替换的修补注入流程

    通过整合先进的生成人工智能（GenAI）和计算机视觉技术，本研究探索了一种综合方法，重点是图像操作。研究的有效性在实验中得到验证，强调了其在生成引人注目内容方面的潜力，使用户能够根据特定提示对个人照片进行服装和背景的修改，无需手动输入修复遮罩，从而有效地将主题植入创意想象的广阔景观中。

    Feb, 2024

  • 重新构想现实：视频修复技术的综合调研

    这篇论文通过分析视频修复技术的最新进展，探讨了计算机视觉和人工智能中的一个关键领域。论文通过人工评估和计算资源比较综合考虑视觉质量和计算效率之间的平衡，并为未来探索这个充满活力和不断发展的领域提供了指导。

    Jan, 2024

  • GAN Inversion 高保真图像修复

    本文提出了一种新的用于图像修复的 GAN 反演模型 InvertFill，它包括一个带有预调制模块的编码器和一个包含 F&W + 潜在空间的 GAN 生成器。通过使用 F&W + 潜在空间和 Soft-update Mean Latent 模块，该模型能够更好地实现图像修复。该模型在四个具有挑战性的数据集上的综合实验结果表明，在视觉和定量上优于现有的高级方法，并且很好地支持跨域图像的修复。

    Aug, 2022