Google 巴德对抗图像攻击的鲁棒性

Sep, 2023

How Robust is Google's Bard to Adversarial Image Attacks?

Yinpeng Dong, Huanran Chen, Jiawei Chen, Zhengwei Fang, Xiao Yang...

TL;DR通过对 Google 的 Bard 进行攻击，该研究揭示了商业多模态大型语言模型（MLLMs）的脆弱性，发现了两种 Bard 的防御机制并提出了相应的攻击方法，从而深入了解了 MLLMs 的鲁棒性，并促进未来研究的发展。

Abstract

multimodal large language models (MLLMs) that integrate text and other modalities (especially vision) have achieved unprecedented performance in various multimodal tasks. However, due to the unsolved adversarial robustn

multimodal large language models adversarial robustness vision models defense mechanisms google's bard

发现论文，激发创造

解码图像：释放大型语言模型

通过一项挑战 - 回应研究，我们对 Google Bard 进行了 64 个视觉挑战，旨在探查多模式大型语言模型（LLMs）的能力。我们的发现表明，Bard 在确定图像中的线索时更倾向于根据直觉做出猜测，并且不依赖于 OCR 库而使用类似 Google Lens 和 Visual API 的深度学习模型来识别复杂图像中的文本。然而，Bard 无法重新绘制 ASCII 艺术或解析简单的井字棋网格，这项研究为多模式 LLMs 的当前能力和改进方向提供了实验性见解。

Aug, 2023

评估大规模视觉语言模型的对抗鲁棒性

本研究评估了开源大型视觉 - 语言模型的鲁棒性，发现黑盒查询可以进一步提高定向逃避的效果。研究结果为大型视觉 - 语言模型的敌对脆弱性提供了量化的理解，并呼吁在实际部署之前对它们的潜在安全漏洞进行更全面的研究。

May, 2023

多模态代理的对抗攻击

基于视觉和语言的模型对自主多模态代理进行了攻击，展示了新的安全风险，并通过对抗性文本字符串指导基于梯度的扰动来执行对手目标。

Jun, 2024

大型语言模型中的对抗攻击与防御：旧与新的威胁

过去十年来，人们对神经网络的鲁棒性进行了广泛的研究，但这个问题依然没有得到很好的解决。在这篇论文中，我们提出了改进新方法的鲁棒性评估和减少错误评估的第一组先决条件，同时指出了面向开源模型中恶意内容生成的嵌入空间攻击作为另一个可行的威胁模型。最后，我们通过一个最近提出的防御方法进行演示，展示了在没有针对大型语言模型的最佳实践的情况下，过高估计新方法的鲁棒性的容易性。

Oct, 2023

Google 巴德的视觉理解有多好？对开放挑战的实证研究

Google's Bard 的视觉输入能力在理解和解释图像的研究中表现不佳，这为未来的发展桥接了视觉理解的重要差距，而沟通 AI 的领域中的竞争对手 ChatGPT 可在文本输入方面处理得更好。

Jul, 2023

关于大规模多模态模型对抗图像攻击的鲁棒性

通过对不同攻击方式的全面研究，本文发现大型多模态模型对于视觉对抗性输入并不具备鲁棒性，但给模型提供上下文（例如问答中的问题）可以降低视觉对抗性输入的影响。该研究还提出了一种新的真实世界图像分类方法，称为查询分解，通过将存在性查询融入输入提示中，观察到攻击的效果减弱和图像分类准确性的提高，从而对多模态系统在对抗环境中增强韧性方面提供了开创性的研究。

Dec, 2023

再审视视觉语言模型的对抗鲁棒性：一种多模态的观点

通过研究视觉语言模型（VLMs）的自适应对抗性鲁棒性，我们引入了一种多模态对抗性攻击策略，并在图像和文本编码器上采用多模态对比对抗性训练损失，以提高 CLIP 的对抗性鲁棒性。在 15 个数据集上进行的广泛实验表明，我们的方法显著提高了 CLIP 的对抗性鲁棒性，甚至在图像攻击的背景下，经过多模态对抗性攻击的模型表现出比仅进行图像攻击微调的模型更高的鲁棒性。

Apr, 2024

Tiny LVLM-eHub: 与 Bard 的早期多模态实验

本文通过提出轻量级的 LVLM-eHub 变体 Tiny LVLM-eHub，对 LVLMs 的多模态能力进行了早期和全面评估，特别关注了 Bard，通过定量评估 42 个标准文本相关视觉基准的视觉感知、视觉知识获取、视觉推理、视觉常识、物体幻象和具身智能等六个类别的多模态功能，并通过 ChatGPT Ensemble Evaluation (CEE) 对 LVLMs 的预测进行了深入分析，证明了 Bard 在大多数多模态能力上优于以前的 LVLMs，但在物体幻象方面仍然容易受到影响，Tiny LVLM-eHub 为各种 LVLMs 提供了基准评估，并鼓励旨在推进多模态技术的创新策略。

Aug, 2023

对大规模语言模型的漏洞调查：对抗性攻击的揭示

大型语言模型的安全性评估和对抗攻击是一个新兴的跨学科领域，本文调查了该领域的相关研究，并提供了对大型语言模型、安全对抗、漏洞源及潜在防御措施的综述。

Oct, 2023

多模态大型语言模型的视觉定位对抗鲁棒性

使用多模态大型语言模型（MLLMs）对视觉定位进行饱受关注的对抗性攻击研究，通过提出三种对抗攻击范式来攻击 MLLMs 的视觉定位性能，进而为提高 MLLMs 的视觉定位的对抗鲁棒性提供了新的视角和强大的基线。

May, 2024