通过在 Foundation Models 中加入富信息,利用了 CLIP 的图像编码器和 Facial Component Guidance 以提高 Deepfake 检测的鲁棒性和泛化性能。在跨数据集的评估中,我们的方法在识别未见过的 Deepfake 样本方面表现出卓越的有效性,并取得了显著的性能提升。
Apr, 2024
本文介绍了基于 transformer 的物体 ReID 方法 TransReID,通过重新排列 patch embeddings,设计新颖的 jigsaw patch module 和 side information embeddings 模块来提高对细节、摄像机视角等因素的鲁棒性,并在多个 ReID 数据集上实现了最优结果。
Feb, 2021
基于三个块的新型方法,通过提取具有分辨力的特征来区分不同类型的图像,进而解决深度学习算法生成的合成图像在数字取证领域中的挑战,实验证明该方法在 JPEG 压缩和泛化测试方面具有良好的鲁棒性并超越了现有方法。
该研究论文介绍了一个基准测试框架,通过集成多个最先进的合成图片检测模型,旨在解决合成图片检测方法在实际应用中与基准数据集之间的差距,并研究在线共享素材中的图像变换对检测性能的影响。
利用图像特征为基础的 L2 蒸馏损失,我们训练出的学生模型在四个特定领域数据集上实现了与在 DataCompXL 上训练的 ViT-B/32 教师模型相当的零样本性能,同时参数减少了高达 92%。
本文研究的问题是可广泛适用的合成图像检测,旨在检测来自各种生成方法,例如 GAN 和扩散模型的伪造图像。研究发现,传统的固定模式不利于学习伪造表示,因此提出了一种新颖的伪造感知自适应变压器方法,即 FatFormer。经过实验验证,FatFormer 在未见过的 GAN 和扩散模型上表现出色,检测性能平均达到 98% 和 95% 的准确率。
Dec, 2023
对于评估人脸图像生成的真实性,研究人员关注生成对抗网络等新技术的进展,本研究通过调查不同特征提取器(InceptionV3、CLIP、DINOv2 和 ArcFace)的行为,考虑多种指标(FID、KID、Precision&Recall)来评估生成图像的真实性,并对特征的深入分析包括 L2 归一化、模型关注机制和特征空间中的数据分布,旨在为评估人脸图像生成方法提供有价值的见解。
Jun, 2024
本文提出了一种基于图像局部特征和深度学习的高置信度图像篡改检测和定位算法,通过利用重采样特征、长短期记忆单元和编码器 - 解码器网络实现了对篡改区域和非篡改区域的有效分割定位,提出的方法能够在像素级非常准确地定位图像篡改。
Mar, 2019
研究评估了使用具有半硬损失函数的暹罗网络在形态攻击检测(MAD)中,合成图像对其影响。通过跨数据集评估来测量合成图像的泛化能力。使用传统的 MobileNetV2、MobileNetV3 和 EfficientNetB0 预训练网络作为特征提取器。我们的结果表明,在 FERET、FRGCv2 和 FRLL 数据库上, EfficientNetB0 训练的 MAD 具有比 SOTA 更低的错误率。相反,当系统仅使用合成图像进行训练时,性能较差。混合方法(合成 + 数字)数据库可以帮助改进 MAD 并降低错误率。这表明我们仍需要在训练过程中继续努力包含合成图像。
Mar, 2024
通过在 OpenGL 渲染中训练仅剩的层,利用预先在真实图像上训练的通用层来冻结特征提取层,本文展示了一种使用合成图像训练现代对象探测器的简单技巧。
Oct, 2017