Jun, 2024

GIM：百万级生成图像操作检测与定位的基准测试

PDF
TL;DR我们设计了一个局部操作流程，融合了 SAM、ChatGPT 和生成模型，并提出了 GIM 数据集，该数据集具有大规模、丰富的图像内容和多样的生成操纵，能够更全面地评估 IMDL 方法并扩展其在不同图像上的适用性。此外，我们还提出了一种新颖的 IMDL 框架 GIMFormer，在 GIM 数据集上进行的大量实验证明了其在两个不同基准测试上明显超过了先前的最新工作。
generative modelsimage manipulation detection and locationgim datasetimdl methodsgimformer framework
发现论文，激发创造
  • 挑战性图像篡改检测的新基准和模型

    数字鉴证中，检测多媒体数据操纵的能力至关重要。我们提出了一个新的具有高质量注释的两个子集的具有挑战性的图像操纵检测基准数据集，同时基于 HRNet 提出了一个新的双分支网络模型，能在挑战条件下更好地检测图像编辑和压缩伪影。我们的模型在该基准数据集上的大量实验证明其在图像操纵检测方面明显优于目前最先进的方法。

    Nov, 2023

  • 从互联网视频中学习通用图像匹配器的方法

    提出了 GIM：一个基于互联网视频的自我训练框架，通过结合标准领域特定数据集和互补匹配方法，在新的视频中创建密集标签，并通过强化增强的传播数据来训练单一通用模型，能够提高跨领域图像匹配的零样本性能。同时，引入了 ZEB 作为图像匹配的首个零样本评估基准。

    Feb, 2024

  • PROMPT-IML：通过 Prompt 调整预训练的基础模型实现图像操作定位

    社交网络服务下的欺诈图像存在重大风险，我们提出了一个新的 Prompt-IML 框架来使用预训练的视觉基础模型辅助图像操作定位，所设计的模型在八个典型虚假图像数据集上表现出更好的性能和卓越的鲁棒性。

    Jan, 2024

  • GenImage：用于检测人工智能生成图像的百万级基准测试

    该论文介绍了 GenImage 数据集，该数据集拥有超过 100 万对人工智能生成的假图像和真实图像，且具有丰富的图像内容和最先进的生成器，通过该数据集，研究人员可以有效加快相对于现有方法的优越人工智能生成图像检测器的开发和评估。

    Jun, 2023

  • TrainFors: 图像操纵检测和定位的大型基准训练数据集

    我们提出了一个标准化的基准训练数据集，用于图像拼接、复制移动伪造、去除伪造和图像增强伪造的 IMDL 任务，并对现有 IMDL 数据集的问题进行了修改。我们还在我们提出的 TrainFors1 数据集上对最先进的 IMDL 方法进行了训练，以公平评估并报告了这些方法在类似条件下的实际性能。

    Aug, 2023

  • IML-ViT：基于视觉 Transformer 的图像操作定位

    开发了一种新的图像篡改定位模型，称为 IML-ViT，它具有高分辨能力、多尺度特征提取能力和篡改边缘监督，并在五个基准数据集上进行了广泛实验，证明了其优于现有篡改定位方法的性能。

    Jul, 2023

  • CIMGEN：有限数据下基于预训练生成模型的受控图像操纵

    提出的方法通过修改语义图像来灵活地生成和编辑图像，利用预先训练的图像到图像转换 GAN 进行改进，并展示了在图像伪造和图像编辑领域中的性能和应用，以及对抗深度学习图像取证技术的有效性和开发鲁棒且可推广的图像取证工具的紧迫需求。

    Jan, 2024

  • MGIMM：面向属性引导的遥感影像细节描述的多粒度指令多模态模型

    本文提出了一种属性引导的多粒度指令多模型（MGIMM），用于遥感图像的详细描述，并通过在区域级别指导调整实现了多模型的一致性学习。通过多颗粒度的视觉特征，MGIMM 可以充分感知区域级和全局图像信息，利用大语言模型对遥感图像进行全面的描述。实验证明了 MGIMM 的区域 - 属性引导学习方法的有效性。

    Jun, 2024

  • MFIM: 百万像素人脸身份修改

    本文提出了一种新颖的面部交换框架 Megapixel Facial Identity Manipulation (MFIM)，该框架能够生成高质量的图像，通过结合预训练的 StyleGAN 和 GAN-inversion 实现生成高分辨率图像。同时，通过使用 3DMM 捕捉多样的面部属性并显式监督模型生成具有所需属性的面部交换图像，实现了有效地转换给定图像的身份。在大量实验证明，我们的模型达到了最先进的性能。此外，我们还提出了一种新的操作方法叫做身份混合，可以通过语义混合多个人的身份来创建新的身份，为用户提供定制化的新身份。

    Aug, 2023

  • BIM: 基于块的自监督学习与图像模型掩膜

    我们引入了一种新的学习框架，即分块式遮蔽图像建模（BIM），用于解决遮蔽图像建模（MIM）的计算资源需求高的问题，并在保持卓越性能的同时大大降低内存消耗，同时实现多个深度不同的 DNN 骨干的并发训练，从而降低与单独训练每个 DNN 骨干相比的计算成本。这为资源受限的 MIM 训练提供了有前景的解决方案。

    Nov, 2023