Nov, 2023

CapST：一种强化且轻量化的深度伪造视频分类方法

PDF
TL;DR通过创新和简化的模型，本研究致力于对通过五种不同的编码器生成的深度伪造视频进行分类，该模型在性能上达到最新水平，并且优化了计算资源的利用。该模型结合了 VGG19bn 的一部分作为骨干，使用胶囊网络和时空注意机制增强了模型的分类能力，并通过聚合帧之间的洞察力获得了视频内容的整体理解。实验结果证明了我们的方法在准确分类深度伪造视频方面相较于基线模型提升了 4 个百分点，并且对计算资源的需求更低。
deepfake videossynthetic mediaartificial intelligence techniquesclassificationcomputational resources
发现论文，激发创造
  • 使用胶囊网络检测虚假图像和视频

    本文介绍了一种胶囊网络方法，用于检测多种攻击类型，从使用打印图像和重放视频的陈述性攻击到使用深度学习创建的虚假视频的攻击，具有与传统卷积神经网络相似的性能，并通过详细分析和可视化解释了胶囊网络应用于取证问题的理论。

    Oct, 2019

  • 使用卷积神经网络和胶囊网络进行可解释的深度伪造视频检测

    通过使用卷积神经网络和胶囊网络与长短期记忆，利用可解释的人工智能来区分深度伪造生成的帧和原始帧，以实现我们的目标，并促进透明的人工智能关系并提供真实场景的实际示例。

    Apr, 2024

  • 基于面部特征引导适应的视频深度伪造检测的进一步普适化

    通过在 Foundation Models 中加入富信息，利用了 CLIP 的图像编码器和 Facial Component Guidance 以提高 Deepfake 检测的鲁棒性和泛化性能。在跨数据集的评估中，我们的方法在识别未见过的 Deepfake 样本方面表现出卓越的有效性，并取得了显著的性能提升。

    Apr, 2024

  • 基于时空特征的深度伪造视频普适检测

    通过使用 3D CNN 建立时空特征提取模型，我们提出了一种新的深度伪造视频检测方法，相比于现有方法能更准确地进行分类，并且经过测试表现出更强的通用能力。

    Oct, 2020

  • 深度假像检测：利用 2D 和 3D CNN 集成的能力

    该研究使用 2D 和 3D 卷积神经网络的创新方法验证视频内容，结合滑动过滤器捕捉空时特征，利用 Voting Ensembles 和 Adaptive Weighted Ensembling 优化 3D 模型输出，在对抗深度伪造生成的欺骗性实践方面展现出潜力。

    Oct, 2023

  • 多重注意力深度伪造检测

    本文提出了一个新的多注意力深度伪造检测网络，该网络通过引入区域独立的损失和基于注意力的数据增强策略来解决学习难度问题，并在多个数据集上展示了该方法在检测深度伪造方面的优越性。

    Mar, 2021

  • 深度 Capsule 网络

    DeepCaps 是一个使用三维卷积动态路由算法的深度胶囊网络架构，通过引入识别物理属性的类独立编码器网络，使用重构损失作为正则化项，实现在 CIFAR10，SVHN 和 Fashion MNIST 上胶囊网络领域最先进的结果，并减少 68％的参数。

    Apr, 2019

  • 利用时空卷积神经网络进行 Deepfake 检测

    通过使用 Celeb-DF 数据集，我们创建了基于时空卷积方法的表现基准，发现这些方法优于现有的基于帧的检测方法，因为它们能够学习到时序信息，并且提出了一种更好的深度学习算法来检测深度假像。

    Jun, 2020

  • VideoCapsuleNet: 一个简化的行为检测网络

    本研究提出了名为 VideoCapsuleNet 的 3D 胶囊网络，可以实现动作检测和像素级动作分割，其中胶囊池化被引入作为卷积胶囊层的一部分以优化计算。研究结果表明，在多个动作检测数据集上，该网络在检测精度方面均有显著提升。

    May, 2018

  • 胶囊取证：使用胶囊网络检测伪造图像和视频

    本文介绍了一种使用胶囊网络来检测各种欺骗的方法，从使用打印图像或记录视频的重放攻击到使用深度卷积神经网络的计算机生成视频，它将胶囊网络的应用扩展到了解决反向图形问题。

    Oct, 2018