ICCVJul, 2023

集合级指导攻击：增强视觉 - 语言预训练模型的对抗迁移能力

PDF
TL;DR通过对最近的 VLP 模型的对抗性传递性进行第一次研究，我们观察到现有方法在传递性方面表现较低，这部分原因是由于对跨模态交互的利用不足。因此，我们提出了一种高传递性的集合级引导攻击（SGA）方法，该方法充分利用模态交互，并结合保留对齐的增强和跨模态引导。实验结果表明，SGA 能够生成强力传递到不同 VLP 模型上的对抗性示例，在多个下游视觉语言任务中，SGA 显著增强了从 ALBEF 到 TCL 的传递攻击的成功率，比现有技术至少提高了 9.78％，最高可达 30.21％。
vision-language pre-trainingadversarial examplesadversarial transferabilityvlp modelsset-level guidance attack
发现论文，激发创造
  • SA-Attack: 通过自我增强改善视觉语言预训练模型的对抗可转移性

    通过总结和分析现有研究，我们确定了可以影响 Visual-Language Pre-training 模型上的转移攻击效果的两个因素：跨模态交互和数据多样性。基于这些观察，我们提出了一种新的基于自我增强的转移攻击方法，称为 SA-Attack。我们在 Flickr30K 和 COCO 数据集上的实验证实了我们方法的有效性。

    Dec, 2023

  • 通过协作多模态交互改善视觉 - 语言预训练模型的敌对可迁移性

    通过利用模态交互机制，我们提出了一种名为 CMI-Attack 的新型攻击方法，在保持语义不变的同时，利用嵌入指导和交互增强攻击文本的嵌入层，并利用交互图像梯度增强对文本和图像的扰动约束。在 Flickr30K 数据集的图像 - 文本检索任务中，CMI-Attack 相对于现有方法提高了 ALBEF、TCL、CLIP_ViT 和 CLIP_CNN 的转移成功率 8.11%-16.75%。此外，CMI-Attack 在跨任务泛化情景中也表现出卓越性能，填补了 Vision-Language 预训练模型转移攻击领域的研究空白，揭示了模态交互对增强对抗鲁棒性的重要性。

    Mar, 2024

  • 通过在对抗轨迹的交叉区域进行多样化提升视觉 - 语言攻击的可迁移性

    通过多模态对抗性示例的多样性扩展交叉区域以增强转移性，本研究提出在优化过程中引导选择文本对抗性示例，并将对抗性文本引导从最后的交叉区域沿着优化路径偏离，以改善各种 VLP 模型和下游视觉 - 语言任务的转移性。

    Mar, 2024

  • 面向视觉语言预训练模型的对抗攻击

    本研究针对视觉 - 语言预训练模型（VLP）的鲁棒性问题进行研究，提出了一种名为协作多模态对抗攻击（Co-Attack）的新型攻击方法，以获得对不同视觉 - 语言下游任务和 VLP 模型的更好攻击性能。该研究结果提供了关于 VLP 模型的对抗鲁棒性的新认识，为其在更多实际场景中的安全可靠部署做出了贡献。

    Jun, 2022

  • VLAttack：基于预训练模型的视觉 - 语言任务的多模态对抗攻击

    本文研究了使用图像和文本扰动生成对黑盒微调模型进行攻击的新的实用任务，提出了 VLAttack 框架，通过融合单模态和多模态层次的图像和文本扰动来生成对抗样本，实验结果表明该框架在各项任务上攻击成功率最高，揭示了预训练 Vision-Language 模型部署中的一个重要盲点。

    Oct, 2023

  • 一个扰动就足够了：关于生成对抗视觉语言预训练模型的通用对抗扰动

    我们展示了 Vision-Language Pre-training（VLP）模型对新型的通用对抗扰动（UAP）攻击的脆弱性，并提出了一种基于多模态对齐的 Contrastive-training Perturbation Generator 方法，该方法在各种 VLP 模型和多模态任务中展现出卓越的攻击性能，并表现出出色的黑盒可迁移性。

    Jun, 2024

  • OT-Attack: 通过最优传输优化增强视觉语言模型的对抗迁移性

    基于视觉 - 语言预训练的模型 (VLP) 展示了在处理图像和文本方面的令人印象深刻的能力，然而它们容易受到多模态对抗样本的攻击。本研究通过探索数据增强和图像 - 文本模态交互之间的最佳对齐问题，提出了一种基于最优输运理论的对抗性攻击方法，命名为 OT-Attack，以有效地对抗过拟合问题，并在图像 - 文本匹配任务中的各种网络架构和数据集中进行的广泛实验显示，OT-Attack 在对抗性可迁移性方面优于现有的最先进方法。

    Dec, 2023

  • VQAttack：基于预训练模型的可传递视觉问答对抗攻击

    使用预训练的多模态源模型生成对抗性图像 - 文本对来攻击目标 VQA 模型，并提出了一种新的 VQAttack 模型，通过设计的模块迭代生成图像和文本扰动，实验证明在转移攻击环境下，与现有方法相比，该模型具有有效性。

    Feb, 2024

  • 视觉语言预训练模型的普适对抗扰动

    我们的研究通过提出新的黑盒方法生成有效且可转移的通用对抗扰动，以揭示 VLP 模型对于图像模态特定模式的不可感知扰动是否普遍敏感，进一步研究了增强 UAPs 的有效性和可转移性的方法，达到了有效且可传递的通用对抗攻击。

    May, 2024

  • InstructTA：针对大型视觉语言模型的指导式目标攻击

    通过将目标响应转化为目标图像，并从目标响应推断出合理的指令，我们提出了一种以指令为导向的有针对性攻击方法，该方法利用共享相同视觉编码器的本地替代模型来提取对抗示例和目标图像的指令感知特征，优化对抗示例以最小化这两个特征之间的距离，从而提高攻击性能和可迁移性。

    Dec, 2023