Jan, 2023

通过针对视频的敌对时空聚焦实现有效的健壮性评估

PDF
TL;DR我们提出了一种基于 AstFocus 攻击的多智能体强化学习框架，该框架同时在视频的关键帧和关键区域上进行攻击，并且通过减小搜索空间来降低查询数，使得在四种主流的视频识别模型和三个广泛使用的动作识别数据集上的结果均优于现有的最佳方法。
adversarial robustnessvideo recognition modelsmulti-agent reinforcement learningquery-based black-box attacksastfocus attack
发现论文，激发创造
  • AdaFocus V2：面向视频识别的空间动态网络的端到端训练

    介绍了一种基于差值插值的补丁选择算法，简化了 AdaFocus 的训练过程并提高了效率，并提出了一种改进的训练方案和条件退出技术，该模型在六个基准数据集上表现出更好的性能。

    Dec, 2021

  • AdaFocusV3: 统一的时空动态视频识别

    本文探索在改进的 AdaFocusV3 框架上，统一时空动态计算的形式，通过在一些信息丰富的三维视频块上激活高性能网络以降低计算成本，并通过自适应轻量的策略网络在每个样本上根据测试时间的需求动态配置视频块数量，模型经过在 ActivityNet，FCVID，Mini-Kinetics，Something-Something V1&V2 和 Diving48 六个基准数据集上的广泛实验结果证明其显著比竞争算法更有效率。

    Sep, 2022

  • 高效视频识别的自适应对焦

    本文探讨了视频识别中的空间冗余问题，提出了一种基于强化学习的自适应空间视频识别方法（AdaFocus），通过在一个小图像块的空间序列上采用高效的卷积神经网络和循环决策网络来定位和选择最相关的区域，以提高计算效率和精度。

    May, 2021

  • 稀疏黑盒视频攻击与强化学习

    该研究提出了一种基于强化学习 (RL) 框架的黑盒视频攻击方法，通过调整关键帧的选择策略，使反对抗扰动逐渐变小，实验证明该方法可以有效降低反对抗扰动。

    Jan, 2020

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 利用空间变换的稀疏对抗性视频攻击

    本文提出了一种面向视频的对抗攻击策略 DeepSAVA，通过加性扰动和空间变换的统一优化框架，利用贝叶斯优化和随机梯度下降算法产生扰动，采用结构相似性指数（SSIM）测量对抗距离，使 DeepSAVA 在保持人眼无法察觉的情况下获得最先进的攻击成功率和对抗转移性能，被证明在各种类型的深度神经网络和视频数据集上具有优越性。

    Nov, 2021

  • 基于启发式黑盒方法的视频识别模型对抗攻击

    提出了一种基于启发式算法的黑盒视频识别攻击模型，生成的对抗扰动仅作用于筛选的视频帧和区域，大大降低了计算成本和减少了查询次数，攻击效果明显。

    Nov, 2019

  • SPARK：面向视觉跟踪的空间感知在线增量攻击

    通过研究在线视频目标跟踪，本文提出了一种新的对抗攻击任务：在线生成微小扰动来误导跟踪器沿指定或不正确的轨迹跟踪目标。为了应对这一挑战，提出了一种基于稀疏性的增量攻击方法 SPARK，该方法在多个基准跟踪器上均能有效地误导跟踪器并且具有较强的可迁移性。

    Oct, 2019

  • 检测音视频语音识别的对抗攻击

    本研究提出了一种基于音频和视频流之间时间相关性的攻击检测方法，利用同步置信度得分作为音视频相关性代理来检测对音视频语音识别模型的对抗攻击，并在 GRID 和 LRW 数据集上的实验结果表明该方法是检测此类攻击的有效方式。

    Dec, 2019

  • LRR: 基于语言驱动的可重采样连续表示抵抗对抗追踪攻击

    通过使用感兴趣物体的语义文本指导，建立空间 - 时间连续表示，该方法能够在清晰和对抗数据上实现高准确性，有效抵御不同的 SOTA 对抗跟踪攻击。

    Apr, 2024