本文研究了如何对抗防御模型的可转移对抗样本，特别是展示出一种简单的通用扰动可以欺骗一系列最先进的防御模型。通过观察到对抗扰动中的区域同质性，我们建议采用一种有效的转换范式和定制的梯度变换器模块将现有扰动转化为区域同质性扰动。通过全面实验，我们发现本文的工作在转移攻击设置下比先前的攻击算法提高了14.0%的效果。
Apr, 2019
本文提出了一种跨模态物理攻击方法，在物理世界中通过统一的对抗性贴片欺骗可见光和红外物体探测器，在考虑到不同成像机制的情况下，通过设计新型的边界受限形状优化和考虑得分的迭代评估，成功地减少了多模式传感器的预测得分。
Jul, 2023
通过对最近的VLP模型的对抗性传递性进行第一次研究，我们观察到现有方法在传递性方面表现较低，这部分原因是由于对跨模态交互的利用不足。因此，我们提出了一种高传递性的集合级引导攻击（SGA）方法，该方法充分利用模态交互，并结合保留对齐的增强和跨模态引导。实验结果表明，SGA能够生成强力传递到不同VLP模型上的对抗性示例，在多个下游视觉语言任务中，SGA显著增强了从ALBEF到TCL的传递攻击的成功率，比现有技术至少提高了9.78％，最高可达30.21％。
该研究提出了一种名为TOUAP的双阶段优化统一对抗贴片，旨在对实际环境中的可见-红外跨模态探测器进行攻击。通过广泛的数字和物理环境实验，我们验证了所提方法的有效性和鲁棒性，推荐其广泛关注。
Dec, 2023
在频率域中进行细粒度扰动优化的可传递对抗攻击方法能够增强攻击传递性，有效绕过各种防御措施。
我们提出了一种新的方法，在互模态优化方案中生成对抗性攻击，利用预训练的CLIP模型进行视觉攻击和文本防御，并通过迭代训练策略实现攻击的转移性。我们的方法在多个基准数据集上得到了验证，表明我们的互模态攻击策略能够有效产生高可转移攻击，并且优于最先进的攻击方法，可作为即插即用解决方案。
本研究针对跨模态人物再识别（ReID）模型的安全性进行了首次探索，并提出了一种专门针对跨模态ReID的通用扰动攻击。该攻击利用不同模态数据的梯度优化扰动，从而破坏鉴别器并加强模态之间的差异，通过在RegDB和SYSU两个广泛使用的跨模态数据集上的实验证明了该方法的有效性，并为未来增强跨模态ReID系统的鲁棒性提供了见解。
Jan, 2024
我们展示了Vision-Language Pre-training（VLP）模型对新型的通用对抗扰动（UAP）攻击的脆弱性，并提出了一种基于多模态对齐的Contrastive-training Perturbation Generator方法，该方法在各种VLP模型和多模态任务中展现出卓越的攻击性能，并表现出出色的黑盒可迁移性。
Jun, 2024
本研究针对现有对抗攻击方法忽视模型内在参数的问题，提出了通过精调模型参数来增强对抗攻击的质量的新方法。我们将对抗攻击过程分为方向性监督过程和方向性优化过程，并通过严格的数学定义和证明，展示了在特定条件下优化模型参数的有效性，验证了我们的P3A方法能够显著提高对抗攻击的表现。
Aug, 2024
本研究解决了多模态模型在攻击中表现不足的问题，提出了创新的CrossFire方法，通过将攻击者选择的目标输入转化为原始图像或音频文件的匹配格式，并将攻击形式化为优化问题，以最小化嵌入之间的角度偏差。实验结果显示，CrossFire显著优于现有攻击方法，能够有效操控下游任务，同时当前的防御策略无法有效抵御CrossFire。
Sep, 2024