基于交叉注意力增强双流网络的人工智能图像检测
随着生成模型的能力增长,人工内容检测成为一项越来越重要且困难的任务。本文关注 AI 生成图像(AIGI)检测器的鲁棒性,通过分析基于冻结 CLIP 嵌入的现有最先进方法并展示如何解释它们,我们揭示了各种 AI 生成器生成的图像与真实图像的差异,并提出了两种改进鲁棒性的方法:基于去除嵌入向量的有害成分和基于选择图像编码模型中表现最佳的注意力头。我们的方法在交叉模型转换中将平均超出分布(OOD)分类得分提高了高达 6%。我们还提出了一个用于 AIGI 检测的新数据集,并在评估中使用了该数据集;我们相信这个数据集将有助于推动进一步的研究。数据集和代码已作为补充提供。
Jun, 2024
最近几年,大型语言模型和扩散模型等生成人工智能模型在内容生产方面产生了革命性的影响,其生成的内容已嵌入到日常生活和工作的各个方面,涵盖了文本、图像、视频和音频。尽管人工智能生成的内容的真实性越来越高,接近人类创作水平,但这些技术也导致了伪造的人工智能生成内容的出现,给真伪信息的鉴别带来了新的挑战。本文提出了一个新的分类方法,更全面地介绍了目前伪造的人工智能生成内容的方法。接下来,我们探讨了伪造的人工智能生成内容的模态和生成技术,归类为人工智能生成的虚假信息和误导信息。在多个角度上,我们介绍了伪造的人工智能生成内容的检测方法,包括欺骗性伪造的检测、深度伪像的检测和错觉性伪造的检测。最后,我们讨论了未来研究的重要挑战和有希望的研究领域。
Apr, 2024
该研究综述了生成模型的历史和基本组成部分,并从单模态和多模态交互的角度介绍了文本和图像生成任务及相关模型,讨论了人工智能生成内容领域中的开放性问题和未来挑战。
Mar, 2023
本文介绍了用于 AI 生成视频检测的广泛视频数据集 GenVidDet 和一种创新有效的方法 Dual-Branch 3D Transformer,该方法能够以 96.77% 的准确率区分真实视频和生成视频内容,并对未知类型具有较强的泛化能力。
May, 2024
本文提出了一种针对扩散模型特别设计的伪造检测方法 —— 三位一体检测器,它通过使用 CLIP 编码器将粗粒度文本特征与像素域中的细粒度伪造物相结合,实现了综合多模态检测。通过设计多光谱通道注意力融合单元(MCAF),提取频谱不一致性,并进一步集成两种模态的空间共现性,以增加对扩散生成图像特征的敏感性。大量实验证明,我们的三位一体检测器方法优于多种最先进的方法,在所有数据集上都具有较强的竞争力,并在扩散数据集的可迁移性上提升了 17.6%。
Apr, 2024
该研究探讨了有效的基于人工智能生成视频的检测方案,通过使用两个分支的时空卷积神经网络来捕捉取证迹象,对视频的空间和光流异常进行分析,通过融合子检测器的结果来提高判别能力,并构建了一个大规模生成的视频数据集作为模型训练和评估的基准。
Mar, 2024
AI 生成内容(AIGC)方法旨在使用 AI 算法产生文本、图像、视频、3D 资产和其他媒体。本文综述了跨不同数据模态的 AIGC 方法,包括单模态和多模态,重点介绍了各种挑战、代表性研究以及最近的技术方向,并在各种模态中提供了对多个基准数据集的比较结果。此外,本文还讨论了挑战和未来研究方向。
Aug, 2023
通过引入傅里叶频率分解和双分支神经网络架构,我们提出了一种可以检测人工智能生成图像的工具,有效解决了在道德层面上区分真实图像和虚假图像的难题,达到了与一些最先进的架构相当的性能。
Jun, 2024
本文深入讨论了基于人工智能技术生成内容的 AIGC,对其定义、关键条件、可重要的现有和未来特性、庞大的预训练模型带来的优势、工业链以及 AIGC 内部辅助生成和自动生成之间的区别进行了探讨,最后探讨了 AIGC 与元宇宙的潜在整合,旨在揭示 AIGC 的现有问题并提供未来应用方向。
Mar, 2023