通过对最近的VLP模型的对抗性传递性进行第一次研究，我们观察到现有方法在传递性方面表现较低，这部分原因是由于对跨模态交互的利用不足。因此，我们提出了一种高传递性的集合级引导攻击（SGA）方法，该方法充分利用模态交互，并结合保留对齐的增强和跨模态引导。实验结果表明，SGA能够生成强力传递到不同VLP模型上的对抗性示例，在多个下游视觉语言任务中，SGA显著增强了从ALBEF到TCL的传递攻击的成功率，比现有技术至少提高了9.78％，最高可达30.21％。

Jul, 2023

通过引入Adversarial Prompt Tuning (AdvPT)技术，本研究旨在提升视觉-语言模型中图像编码器的对抗性鲁棒性，改善对抗攻击的脆弱性，并且结合现有的基于图像处理的防御技术，进一步提高其防御能力。

Nov, 2023

通过将目标响应转化为目标图像，并从目标响应推断出合理的指令，我们提出了一种以指令为导向的有针对性攻击方法，该方法利用共享相同视觉编码器的本地替代模型来提取对抗示例和目标图像的指令感知特征，优化对抗示例以最小化这两个特征之间的距离，从而提高攻击性能和可迁移性。

Dec, 2023

基于视觉-语言预训练的模型(VLP)展示了在处理图像和文本方面的令人印象深刻的能力，然而它们容易受到多模态对抗样本的攻击。本研究通过探索数据增强和图像-文本模态交互之间的最佳对齐问题，提出了一种基于最优输运理论的对抗性攻击方法，命名为OT-Attack，以有效地对抗过拟合问题，并在图像-文本匹配任务中的各种网络架构和数据集中进行的广泛实验显示，OT-Attack在对抗性可迁移性方面优于现有的最先进方法。

Dec, 2023

提出了一种名为CroPA的方法，通过使用可学习的提示来对抗误导性的对手图片，从而显著提高了对不同提示的对手样本的传递能力。

Mar, 2024

通过利用模态交互机制，我们提出了一种名为CMI-Attack的新型攻击方法，在保持语义不变的同时，利用嵌入指导和交互增强攻击文本的嵌入层，并利用交互图像梯度增强对文本和图像的扰动约束。在Flickr30K数据集的图像-文本检索任务中，CMI-Attack相对于现有方法提高了ALBEF、TCL、CLIP_ViT和CLIP_CNN的转移成功率8.11%-16.75%。此外，CMI-Attack在跨任务泛化情景中也表现出卓越性能，填补了Vision-Language预训练模型转移攻击领域的研究空白，揭示了模态交互对增强对抗鲁棒性的重要性。

Mar, 2024

通过多模态对抗性示例的多样性扩展交叉区域以增强转移性，本研究提出在优化过程中引导选择文本对抗性示例，并将对抗性文本引导从最后的交叉区域沿着优化路径偏离，以改善各种VLP模型和下游视觉-语言任务的转移性。

Mar, 2024

通过SmoothVLM防御机制，本文针对视觉-语言模型中的补丁式对抗性提示注入进行研究，取得了成功的攻击率降低和上下文恢复率提高的平衡。

May, 2024

本研究针对现有对抗攻击方法在未知领域与模型架构下的转移性不足问题，提出了一种新颖的攻击方法PDCL-Attack。该方法利用CLIP模型和提示驱动的特征指导，提升生成对抗扰动的转移性，经过大量跨领域和跨模型的实验验证，显示出优于现有最先进方法的效果。

Jul, 2024

本研究解决了大型视觉-语言模型在视觉模块中的鲁棒性问题，即如何有效应对对抗图像攻击。我们提出了一种非针对性攻击方法VT-Attack，能够从多角度构建对抗样本，全面干扰视觉标记的特征表示和语义特性。实验结果表明，VT-Attack在攻击性能上优于基线方法，为提高LVLM的稳健性提供了有效的指导。

Oct, 2024