本篇论文针对机器学习模型中的对抗扰动问题，提出了一种新的、通用的、不依赖于数据的目标函数，通过在多个层次上损坏提取的特征来生成图像无关的对抗扰动。实验结果表明，该目标函数相比于现有的方法具有更好的鲁棒性，能够在黑盒攻击场景下有效攻击深度学习模型，从而强调当前的深度学习模型面临着风险。

Jan, 2018

本研究针对视觉-语言预训练模型（VLP）的鲁棒性问题进行研究，提出了一种名为协作多模态对抗攻击（Co-Attack）的新型攻击方法，以获得对不同视觉-语言下游任务和VLP模型的更好攻击性能。该研究结果提供了关于VLP模型的对抗鲁棒性的新认识，为其在更多实际场景中的安全可靠部署做出了贡献。

Jun, 2022

本研究评估了开源大型视觉-语言模型的鲁棒性，发现黑盒查询可以进一步提高定向逃避的效果。研究结果为大型视觉-语言模型的敌对脆弱性提供了量化的理解，并呼吁在实际部署之前对它们的潜在安全漏洞进行更全面的研究。

May, 2023

本文研究了使用图像和文本扰动生成对黑盒微调模型进行攻击的新的实用任务，提出了VLAttack框架，通过融合单模态和多模态层次的图像和文本扰动来生成对抗样本，实验结果表明该框架在各项任务上攻击成功率最高，揭示了预训练Vision-Language模型部署中的一个重要盲点。

Oct, 2023

通过利用模态交互机制，我们提出了一种名为CMI-Attack的新型攻击方法，在保持语义不变的同时，利用嵌入指导和交互增强攻击文本的嵌入层，并利用交互图像梯度增强对文本和图像的扰动约束。在Flickr30K数据集的图像-文本检索任务中，CMI-Attack相对于现有方法提高了ALBEF、TCL、CLIP_ViT和CLIP_CNN的转移成功率8.11%-16.75%。此外，CMI-Attack在跨任务泛化情景中也表现出卓越性能，填补了Vision-Language预训练模型转移攻击领域的研究空白，揭示了模态交互对增强对抗鲁棒性的重要性。

Mar, 2024

通过研究视觉语言模型（VLMs）的自适应对抗性鲁棒性，我们引入了一种多模态对抗性攻击策略，并在图像和文本编码器上采用多模态对比对抗性训练损失，以提高CLIP的对抗性鲁棒性。在15个数据集上进行的广泛实验表明，我们的方法显著提高了CLIP的对抗性鲁棒性，甚至在图像攻击的背景下，经过多模态对抗性攻击的模型表现出比仅进行图像攻击微调的模型更高的鲁棒性。

Apr, 2024

我们的研究通过提出新的黑盒方法生成有效且可转移的通用对抗扰动，以揭示VLP模型对于图像模态特定模式的不可感知扰动是否普遍敏感，进一步研究了增强UAPs的有效性和可转移性的方法，达到了有效且可传递的通用对抗攻击。

May, 2024

我们展示了Vision-Language Pre-training（VLP）模型对新型的通用对抗扰动（UAP）攻击的脆弱性，并提出了一种基于多模态对齐的Contrastive-training Perturbation Generator方法，该方法在各种VLP模型和多模态任务中展现出卓越的攻击性能，并表现出出色的黑盒可迁移性。

Jun, 2024

机视语言模型在研究和实际应用中取得了突破，但其对抗性攻击的鲁棒性至关重要。本研究系统地研究了模型设计选择对机视语言模型在图像攻击方面的抗打击能力的影响。此外，我们引入了新颖且经济的方法通过提示格式来增强鲁棒性。通过改写问题和建议可能的对抗性扰动，我们在抵御强大的图像攻击（如Auto-PGD）方面实现了显著的改进。我们的发现为开发更具鲁棒性的机视语言模型提供了重要指导，尤其是在安全关键环境中的部署。

Jul, 2024

本研究针对视觉语言预训练模型在对抗攻击方面的脆弱性，提出了一种新颖的联合多模态变换特征攻击(JMTFA)方法。该方法在白盒环境下，针对视觉和文本两个模态同时引入对抗扰动，显著提高了对抗攻击成功率，并揭示了文本模态对模型的复杂融合过程具有重要影响，这为多模态人工智能系统的可靠部署提供了新视角。

Aug, 2024