Oct, 2023

深度假像检测：利用 2D 和 3D CNN 集成的能力

PDF
TL;DR该研究使用 2D 和 3D 卷积神经网络的创新方法验证视频内容，结合滑动过滤器捕捉空时特征，利用 Voting Ensembles 和 Adaptive Weighted Ensembling 优化 3D 模型输出，在对抗深度伪造生成的欺骗性实践方面展现出潜力。
deepfake detectionconvolutional neural networksspatiotemporal featuresvoting ensemblesadaptive weighted ensembling
发现论文，激发创造
  • 基于 CNN 集合的视频人脸篡改检测

    本文提出了一种使用 ensembles 方法来判断现代面部操作技术的视频序列的面部操作检测的解决方案，该方案使用了基于卷积神经网络的不同模型，并结合了 EfficientNetB4、注意力层和连体训练等不同概念，针对以上两个概念结合的模型，本文在两个公开数据集上测试得出了令人期待的结果。

    Apr, 2020

  • 利用深度学习进行多媒体数据分类的智能 3D 网络协议

    本文中介绍了一种基于 3D 卷积神经网络和 Spatiotemporal fusion 的混合深度学习架构，用于视频分类和动作识别，在研究方面取得了良好的性能，可以识别出 UCF101 数据集中的动作（准确率达到 95%）

    Jul, 2022

  • 基于 3D 时空轨迹的深度伪造视频压缩检测

    该研究提出了一种基于 3D 时空轨迹的深度伪造视频检测方法，该方法通过利用鲁棒的 3D 模型构建时空运动特征，整合来自 2D 和 3D 帧的特征细节，以减轻大头部旋转角度或不足的光照对帧内的影响。此外，该方法将面部表情与头部运动分离，并设计了基于相空间运动轨迹的顺序分析方法，以探索深度伪造视频中真实面部和伪造面部之间的特征差异。通过对几个压缩深度伪造基准进行广泛实验证明了我们所提出的方法的性能。计算视频压缩前后面部标志的一致分布验证了精心设计的特征的鲁棒性。我们的方法取得了令人满意的结果，展示了其在实际应用中的潜力。

    Apr, 2024

  • 利用时空卷积神经网络进行 Deepfake 检测

    通过使用 Celeb-DF 数据集，我们创建了基于时空卷积方法的表现基准，发现这些方法优于现有的基于帧的检测方法，因为它们能够学习到时序信息，并且提出了一种更好的深度学习算法来检测深度假像。

    Jun, 2020

  • 超越检测：深度伪造图像视觉真实度评估

    本文提出了一种有效的方法来评估 DeepFake 视频的视觉真实感，并详细介绍了两个卷积神经网络模型的数据预处理和训练程序，这些模型通过从帧序列中提取的特征来预测 DeepFake 视频的 Mean Opinion Scores，并在 DeepFake Game Competition (DFGC) 2022 评估中获得了第三名。

    Jun, 2023

  • 探究集成方法用于检测深度伪造人脸操纵

    本文讲述了人工智能 (AI) 技术支持的合成媒体 - 深度伪造技术 (deepfakes)，由此带来了令人兴奋的新应用，但也产生了对我们越来越数字化的世界的严重威胁。为了缓解这些威胁，研究人员尝试提出新的深度学习技术来检测 deepfakes，同时比较了多种模型模型的判别能力。他们的结果印证了集成模型在应对不同操作类别时的准确性，但是它的推广需要众多的训练数据作为支撑。

    Apr, 2023

  • 深伪卫兵：利用集合智能进行鲁棒的检测与泛化

    提出了一种主动可持续的深度伪造训练增强解决方案，将人工指纹引入模型中，通过采用池化自编码器的整体学习方法，模仿深度伪造模型引入的伪造效果，实验结果表明，我们提出的整体自编码器数据增强学习方法在泛化能力方面有所提升，并抵抗基本数据扰动，如噪声、模糊、锐化增强和仿射变换，对常用的有损压缩算法，如 JPEG，具有强大的鲁棒性，并增强对抗攻击的抵抗能力。

    Mar, 2024

  • 使用三维卷积神经网络学习时空特征

    通过在大规模监督视频数据集上使用训练的深度三维卷积神经网络（3D ConvNets）提出了一种简单而有效的时空特征学习方法。我们的成果有三个：1）相对于 2D ConvNets，3D ConvNets 更适用于时空特征学习；2）所有层中具有小的 3x3x3 卷积核的同构体系结构是 3D ConvNets 中表现最佳的体系结构之一；3）我们学到的特征 —— 即 C3D（卷积 3D）—— 连同一个简单的线性分类器，在 4 个不同的基准测试中优于最先进的方法，并与其他 2 个基准测试中的最佳方法相当。此外，这些特征紧凑：只需 10 维便能在 UCF101 数据集上达到 52.8％的准确率，由于 ConvNets 的快速推理，计算效率也非常高。最后，它们在概念上非常简单易用且易于训练和使用。

    Dec, 2014

  • 将 EfficientNet 和 Vision Transformers 相结合用于视频深度伪造检测

    本文旨在解决视频深度伪造检测的问题，特别注重于面部深度伪造，他们利用效率较高的特征提取器与各种 Vision Transformer 结合进行实验，得出的最佳模型 AUC 为 0.951，F1 得分为 88.0％.

    Jul, 2021

  • 深度三维人脸识别

    本文提出了一种使用深卷积神经网络和 3D 数据扩增技术的新型 3D 人脸识别算法，表明 2D 人脸图像 CNN 训练的迁移学习可以有效用于 3D 人脸识别，同时采用一种 3D 人脸扫描的数据扩增技术，可以改进 3D 人脸识别的性能。

    Mar, 2017