IMDL-BenCo:图像操纵检测与定位的综合基准和代码库
本篇论文提出了一种基于Generalized Focal Loss的改进型One-Stage Detector,在保证速度的情况下,在COCO数据集上实现了state-of-the-art的准确率。
Jun, 2020
开发了一种新的图像篡改定位模型,称为IML-ViT,它具有高分辨能力、多尺度特征提取能力和篡改边缘监督,并在五个基准数据集上进行了广泛实验,证明了其优于现有篡改定位方法的性能。
Jul, 2023
我们提出了一个标准化的基准训练数据集,用于图像拼接、复制移动伪造、去除伪造和图像增强伪造的IMDL任务,并对现有IMDL数据集的问题进行了修改。我们还在我们提出的TrainFors1数据集上对最先进的IMDL方法进行了训练,以公平评估并报告了这些方法在类似条件下的实际性能。
Aug, 2023
将非互斥对比学习(NCL)引入深度图像处理定位(IML)模型,以解决训练数据不足的问题,并提高处理位置准确度。NCL通过建立一个包含双分支的中心结构,并设计一种保持空间上连续性的损失函数,有效地应对不互斥图像区域的问题,实现了自我监督的优势并在五个基准测试中表现出卓越性能。
Sep, 2023
该研究提出了一个通过像素不一致性痕迹进行广义且稳健的图像篡改定位的方法,通过分析像素不一致性痕迹模型化图像的全局像素依赖和本地篡改线索,并通过学习权重模块增强最终的篡改定位性能。在图像信号处理器插值过程中引入的像素相关性以及篡改操作对像素的影响是该方法的基础,并通过新颖的数据增强策略驱使模型专注于捕捉固有的像素级痕迹。实验结果表明,该方法在图像篡改定位领域具有最先进的泛化和稳健性能。
Sep, 2023
通过整合低级特征与高级特征,本文将图像篡改定位任务重新定义为一个高级视觉任务,并提出了一种名为感知 MAE(PMAE)的方法,通过结合高分辨率输入和感知损失监督模块来增强掩模自动编码器(MAE),从而对低级特征进行补充,该方法在所有五个公开的数据集上优于现有最先进的篡改定位方法。
Oct, 2023
通过合并不同滤波器的输出结果,利用图像操作定位和检测中的互补特征和痕迹,我们提出了两种不同的方法:一种是产生独立特征并将它们融合的后期融合方法,另一种是在不同模态输出之间进行早期混合并产生早期合并特征的早期融合方法。我们证明这两种方法在图像操作定位和检测方面的性能均优于现有模型在多个数据集上的表现。
Dec, 2023
社交网络服务下的欺诈图像存在重大风险,我们提出了一个新的Prompt-IML框架来使用预训练的视觉基础模型辅助图像操作定位,所设计的模型在八个典型虚假图像数据集上表现出更好的性能和卓越的鲁棒性。
Jan, 2024
本研究旨在检验实时目标检测模型的可重复性和基准测试。通过比较大量的目标检测模型在多个显卡上的精度和推理速度,我们还重现了DETR、RTMDet、ViTDet和YOLOv7等模型,并提出了一个统一的训练和评估流程,以更好地比较模型。然而,我们发现某些模型在准确性和速度上无法达到原始论文所述性能,而RTMDet和YOLOv7可以匹配这些性能。总的来说,结果显示准确性和速度之间存在着明显的权衡,其中以无锚点模型(尤其是RTMDet或YOLOx模型)为主。
May, 2024
我们设计了一个局部操作流程,融合了SAM、ChatGPT和生成模型,并提出了GIM数据集,该数据集具有大规模、丰富的图像内容和多样的生成操纵,能够更全面地评估IMDL方法并扩展其在不同图像上的适用性。此外,我们还提出了一种新颖的IMDL框架GIMFormer,在GIM数据集上进行的大量实验证明了其在两个不同基准测试上明显超过了先前的最新工作。
Jun, 2024