本研究评估了开源大型视觉-语言模型的鲁棒性，发现黑盒查询可以进一步提高定向逃避的效果。研究结果为大型视觉-语言模型的敌对脆弱性提供了量化的理解，并呼吁在实际部署之前对它们的潜在安全漏洞进行更全面的研究。

May, 2023

通过学习稳健的文本提示来提高视觉语言模型的对抗攻击的鲁棒性，该方法被称为对抗提示调优（APT），通过简单地向提示中添加一个学习到的单词，可以显著提高准确性和鲁棒性（epsilon=4/255），平均分别提高13%和8.5%。

Mar, 2024

通过多模态对抗性示例的多样性扩展交叉区域以增强转移性，本研究提出在优化过程中引导选择文本对抗性示例，并将对抗性文本引导从最后的交叉区域沿着优化路径偏离，以改善各种VLP模型和下游视觉-语言任务的转移性。

Mar, 2024

使用ADAPT框架对Vision Transformers进行参数高效提示调优，实现对下游任务的鲁棒性训练，从而在只调优了约1%的参数数量的情况下，实现与完全模型微调相当的鲁棒准确率（约40%）.

Mar, 2024

通过研究视觉语言模型（VLMs）的自适应对抗性鲁棒性，我们引入了一种多模态对抗性攻击策略，并在图像和文本编码器上采用多模态对比对抗性训练损失，以提高CLIP的对抗性鲁棒性。在15个数据集上进行的广泛实验表明，我们的方法显著提高了CLIP的对抗性鲁棒性，甚至在图像攻击的背景下，经过多模态对抗性攻击的模型表现出比仅进行图像攻击微调的模型更高的鲁棒性。

Apr, 2024

通过SmoothVLM防御机制，本文针对视觉-语言模型中的补丁式对抗性提示注入进行研究，取得了成功的攻击率降低和上下文恢复率提高的平衡。

May, 2024

通过多模态提示学习来提高图像和文本特征的对齐度，利用预训练的 CLIP 强大的泛化能力，引导模型在对抗性示例上增强鲁棒泛化能力，同时在干净示例上保持准确性。

May, 2024

通过使用梯度方法对视觉和文本上下文进行干扰，Contextual-Injection Attack（CIA）可以将目标标记注入视觉和文本环境，从而改善目标标记的概率分布，进而增强对抗图像的跨提示可迁移性，对于视觉-语言模型（VLMs）中的更有效的对抗策略具有潜力。

Jun, 2024

机视语言模型在研究和实际应用中取得了突破，但其对抗性攻击的鲁棒性至关重要。本研究系统地研究了模型设计选择对机视语言模型在图像攻击方面的抗打击能力的影响。此外，我们引入了新颖且经济的方法通过提示格式来增强鲁棒性。通过改写问题和建议可能的对抗性扰动，我们在抵御强大的图像攻击（如Auto-PGD）方面实现了显著的改进。我们的发现为开发更具鲁棒性的机视语言模型提供了重要指导，尤其是在安全关键环境中的部署。

Jul, 2024

本研究解决了视觉语言模型（VLM）在对抗攻击下鲁棒性不足的问题，提出了一种新颖的对抗训练框架，综合多种攻击策略和先进的机器学习技术。实验结果显示，该方法显著提升了VLM在真实数据集上的鲁棒性，CLIP模型在对抗扰动图像上的准确率从基准模型的4%提升至43.5%。

Oct, 2024