Oct, 2021

利用几何变换的对黑盒视频分类器的对抗攻击

PDF
TL;DR本文介绍了一种新的迭代算法 Geometric TRAnsformed Perturbations (GEO-TRAP)，使用几何变换来降低有效梯度的搜索空间，从而实现黑盒攻击视频分类模型。该算法在广泛使用的 Jester 数据集上的攻击成功率比最先进的视频对抗攻击方法少了约 73.55% 的查询次数，同时在两个大型数据集上战胜了现有的黑盒攻击设置下的最新结果。
发现论文，激发创造
  • 基于启发式黑盒方法的视频识别模型对抗攻击

    提出了一种基于启发式算法的黑盒视频识别攻击模型，生成的对抗扰动仅作用于筛选的视频帧和区域，大大降低了计算成本和减少了查询次数，攻击效果明显。

    Nov, 2019

  • GeoDA: 一个基于几何的黑盒对抗攻击框架

    本文提出一种有效的黑盒攻击算法，用于生成三维深度神经网络的对抗样例，该算法利用网络决策边界以及小曲率特性来生成具有小 l_p 范数的有效迭代算法，该算法获得了比现有算法更好的结果。

    Mar, 2020

  • 基于转换的对抗攻击

    我们引入了转换依赖型对抗攻击，一种新的威胁类型，其中一个单一的加性扰动可以通过系统地转换输入（例如缩放、模糊、压缩）触发多样化、可控的错误预测。与具有静态影响的传统攻击不同，我们的扰动嵌入了变态学特性，可以根据转换参数的函数实现不同的对抗攻击。我们展示了在模型（例如卷积网络和视觉变压器）和视觉任务（例如图像分类和目标检测）上的转换依赖性漏洞。我们提出的几何和光度转换使得从一个精心制作的输入中能够产生一系列有针对性的错误（例如对于分类器的超过 90% 的攻击成功率）。我们分析了模型结构、变换类型 / 多样性对攻击效果的影响。这项工作通过重新定义对抗输入为动态的、可控的威胁，强制进行范式转变。我们强调了对抗这种多方面、变色龙般的扰动的强大防御措施的需求，而当前的技术则显得力不从心。

    Jun, 2024

  • 对实时视频分类系统的对抗性扰动

    本研究探讨了实时视频分类系统中对抗性干扰的可能性与必要条件，发现在考虑时序结构的情况下，利用生成对抗网络可以产生能够导致高达 80% 有针对性活动误分类的对抗样本，对其他活动几乎没有影响，并且同一扰动可以适用于视频剪辑中的每一帧。

    Jul, 2018

  • 语义对抗攻击：参数转换欺骗深度分类器

    本文通过对参数条件生成模型的范围空间进行对抗性损失的优化，提出了一种新颖的方法来生成 “语义” 对抗性示例，并在面部图像上展示了其攻击的效果。

    Apr, 2019

  • 可转移的对抗性攻击图像篡改定位

    本文提出了一种对现有数字图像篡改定位算法进行真实世界应用安全性评估的对抗性攻击方案，通过基于优化和梯度的敌对示例的白盒和黑盒攻击来揭示这种篡改定位器的可靠性，从而准确预测篡改区域并保持高视觉质量的同时，大大降低了定位精度。

    Sep, 2023

  • GeoDeformer：基于几何变形的动作识别变压器

    本文提出了一种新的方法 GeoDeformer，它将几何理解直接集成到 ViT 架构中，用于捕捉动作视频中固有的几何变异，实验证明该方法在 UCF101、HMDB51 和 Mini-K200 数据集上取得了显著的准确度提升，并且能够有效表现几何变形及最小化几何变异。

    Nov, 2023

  • 大规模神经网络几何鲁棒性的验证

    研究通过 GeoRobust 在深度神经网络上实现几何变换的鲁棒性分析，并提供了基于 Lipschitz 理论的最坏情况变换证明保证。我们还发现，在 ImageNet 分类器上，增加深度比增加宽度更有益于提高网络的几何鲁棒性。

    Jan, 2023

  • 快速几何扰动对抗人脸

    本研究探索了几何扰动对人脸识别系统的影响，并提出了一种快速的地标操纵方法，生成的对抗性人脸具有极高的成功率，并且极其健壮，对最新的防御方法也具有攻击能力，代码链接在文中。

    Sep, 2018

  • 为什么通用对抗攻击可以对大型语言模型起作用？几何可能是答案

    通过对包含 117M 个参数的 GPT-2 模型的攻击，我们发现这些通用对抗触发器可能仅仅是嵌入向量，它们近似于对抗训练区域中的语义信息，从而为大型语言模型的通用对抗攻击提供了一个新的几何学视角。

    Sep, 2023