Oct, 2023

图像合成任务中的感知伪影定位

PDF
TL;DR近期，深度生成模型在各类任务中取得了创建逼真图像的重要进展，然而，这些生成的图像往往在特定区域出现知觉上的瑕疵，需要手动修复。本研究通过全面的实证研究，提出了感知性瑕疵定位（PAL）的方法，跨越多样的图像合成任务。我们引入了一个新的数据集，包括 10,168 个生成图像，每个图像都有基于像素级的感知性瑕疵标签，覆盖了十个合成任务。在我们提出的数据集上训练的分割模型有效地定位了各类任务中的瑕疵。此外，我们还展示了该模型在使用极少的训练样本下适应之前未见过的模型时的高效性。我们进一步提出了一种创新的放大补全流程，能够无缝修复生成图像中的感知性瑕疵。通过实验分析，我们阐明了几个实际的下游应用，如自动瑕疵修复、非参考图像质量评估以及异常区域检测。该数据集和代码已经发布。
deep generative modelsperceptual artifactsimage synthesislocalizationinpainting
发现论文，激发创造
  • 像素不一致性建模用于图像篡改定位

    该研究提出了一个通过像素不一致性痕迹进行广义且稳健的图像篡改定位的方法，通过分析像素不一致性痕迹模型化图像的全局像素依赖和本地篡改线索，并通过学习权重模块增强最终的篡改定位性能。在图像信号处理器插值过程中引入的像素相关性以及篡改操作对像素的影响是该方法的基础，并通过新颖的数据增强策略驱使模型专注于捕捉固有的像素级痕迹。实验结果表明，该方法在图像篡改定位领域具有最先进的泛化和稳健性能。

    Sep, 2023

  • 提高照片真实性

    本文提出了一种增强合成图像逼真度的方法，通过卷积网络利用常规渲染流水线产生的中间表示来增强图像。

    May, 2021

  • SynArtifact: 通过视觉语言模型对合成图像中的伪影进行分类和缓解

    通过使用 Vision-Language Model 作为 artifact 分类器，对合成图像进行细化，通过反馈机制改善生成模型，从而降低合成图像中的复杂伪影。

    Feb, 2024

  • 图像操作定位的感知 MAE: 低层特征为焦点的高级视觉学习器

    通过整合低级特征与高级特征，本文将图像篡改定位任务重新定义为一个高级视觉任务，并提出了一种名为感知 MAE（PMAE）的方法，通过结合高分辨率输入和感知损失监督模块来增强掩模自动编码器（MAE），从而对低级特征进行补充，该方法在所有五个公开的数据集上优于现有最先进的篡改定位方法。

    Oct, 2023

  • 基于物品的皮肤病变模型领域泛化

    提出了一种基于标注伪影的流程，用于深度学习在皮肤病变分析中的领域适应性评估与去偏倚。在具有不同程度偏差的数据集上进行建模，并利用基于皮肤病变的数据集进行域通用化。在测试时去除推理图像中的伪特征，实验表明该流程在有偏数据集的表现指标有所提高，且对于伪影的忽略具有较好的效果，但在外部数据集上的表现较差，尤其需要对于皮肤病变分析的公平性更加关注。

    Aug, 2022

  • GAN 伪图像中伪造物的检测和模拟

    本文提出了一个可以模拟多个流行 GAN 模型的 GAN 模拟器 AutoGAN，并基于频域的特性提出了一种分类器模型，从而即使在自主学习时无法看到目标 GAN 模型生成的假图像，也可以在检测流行 GAN 模型生成的假图像方面实现最先进的表现。

    Jul, 2019

  • 扩散生成图像中的弱监督深度伪造定位

    通过使用基于解释、局部分数或注意机制的三种方法，并利用 Xception 网络作为共同的骨干架构，我们将任务定为弱监督定位问题，并在方法选择、监督类型、数据集和生成器等方面进行了仔细分析；我们的研究通过构建数据集，其中只有一个组件发生变化，证明了弱监督定位是可行的；而基于局部分数的最佳检测方法对于较松的监督比对于数据集或生成器的不匹配更不敏感。

    Nov, 2023

  • 对比学习下的视频修复定位

    基于对比学习的 Video Inpainting LOcalization (ViLocal) 方案使用 3D Uniformer 编码器学习了有效的时空取证特征，通过吸引 / 排斥正 / 负原始和伪造像素对捕捉到了图像修复不一致，然后通过专门的两阶段训练策略利用轻量级卷积解码器生成了一个像素级修复定位地图，实验证明 ViLocal 优于现有技术。

    Jun, 2024

  • 学习 JPEG 压缩伪迹用于图像篡改检测和定位

    通过使用卷积神经网络 (CNN) 和离散余弦变换 (DCT) 系数，本文提出了一种用于本地化检测图像篡改的方法，并介绍了 Compression Artifact Tracing Network (CAT-Net)。CAT-Net 与传统方法和基于深度神经网络的方法相比，在检测和本地化篡改区域时具有更好的性能。

    Aug, 2021

  • 组织学图像中基于扩散概率模型的文物修复

    通过使用 ArtiFusion 进行逐渐去噪的过程，该研究提出了一种新的组织学图像去伪存真的方法，该方法能够成功地恢复失真区域外的真实组织结构和染色样式。

    Jul, 2023