Nov, 2020

在真实灰盒子假设下的多模型对抗评估

PDF
TL;DR本研究针对多模态（图像 + 文本）模型的弱点进行分析，并提出了基于部分模型知识和访问下的攻击方法。同时，我们发现对多模态分类进行的攻击比仅仅对单模态文本或图像分类的攻击更强，而我们尝试的对多模态分类器进行的单模态图像攻击比文本的字符增强攻击更为有效。
multimodal modelsadversarial attacksgray-box assumptionshateful memes challengeimage attacks
发现论文，激发创造
  • 关于大规模多模态模型对抗图像攻击的鲁棒性

    通过对不同攻击方式的全面研究，本文发现大型多模态模型对于视觉对抗性输入并不具备鲁棒性，但给模型提供上下文（例如问答中的问题）可以降低视觉对抗性输入的影响。该研究还提出了一种新的真实世界图像分类方法，称为查询分解，通过将存在性查询融入输入提示中，观察到攻击的效果减弱和图像分类准确性的提高，从而对多模态系统在对抗环境中增强韧性方面提供了开创性的研究。

    Dec, 2023

  • 深度学习多模态数据融合中对抗样本的脆弱性研究

    探究了目前多模态融合模型是否利用补充信息来防御对抗攻击，通过在 MFNet 上应用 FGSM 和 PGD 等对抗攻击进行实验验证，发现多模态融合模型在对抗攻击方面仍然存在脆弱性。

    May, 2020

  • 大型视觉语言模型的白盒多模态越狱

    通过对大规模视觉语言模型的攻击，我们提出了一种综合性的策略，该策略同时攻击文本和图像模态，以利用视觉语言模型内的更广泛的脆弱性。我们的实验结果表明，我们的通用攻击策略可以有效地越狱 MiniGPT-4，成功率达到 96％，突显了视觉语言模型的脆弱性和对新的对齐策略的迫切需求。

    May, 2024

  • HateProof：恶意 Meme 检测系统真的稳健吗？

    社交媒体上传播仇恨的行为越来越多，其中包括使用多模态方式的恶意内容，容易被现有的检测系统所规避。本文通过对现有系统进行外部对抗攻击，检验了其脆弱性，并提出了使用对比学习和基于对抗训练的方法来提高鲁棒性。实验结果表明，使用这两种方法可以在某些攻击下重获性能。

    Feb, 2023

  • 我看到了死人：图像文本模型的灰盒对抗攻击

    本文提出了一种针对图像到文本模型的灰盒对抗攻击方法，并通过实验验证了其有效性。

    Jun, 2023

  • 防御多模融合模型免受单一来源的攻击

    本研究旨在分析多模态神经网络在单模态最坏情况下 (即对抗性攻击) 的鲁棒性，并提出了一种对抗性融合策略，该策略与现有方法相比，可显著提高单源鲁棒性，并在不影响干净数据性能的情况下，在多种多模态任务上实现了良好的表现。

    Jun, 2022

  • MMCert：多模态模型的可证明防御机制抵御对抗攻击

    提出了 MMCert，这是对多模态模型实施机器学习攻击的第一个认证防御方法，并通过实验结果显示其优于现有认证方法。

    Mar, 2024

  • 多模基础模型的对抗鲁棒性

    本文研究了使用图像中的不可察觉攻击来改变多模态基础模型的标题输出，揭示了恶意内容提供者如何利用此方式伤害诚实用户，并强调了部署的多模态基础模型应采取对抗性攻击的对策。

    Aug, 2023

  • 多模态一定更好吗？多模态假新闻检测的鲁棒性评估

    本文针对多媒体假新闻检测方法鲁棒性差的问题，提出了一种系统的鲁棒性评估方法，并通过 5 种对抗攻击和 2 种后门攻击实验验证，结果表明通过防御机制可以提高多模式检测器的鲁棒性。

    Jun, 2022

  • 语义扰动下的互模态对抗攻击

    我们提出了一种新的方法，在互模态优化方案中生成对抗性攻击，利用预训练的 CLIP 模型进行视觉攻击和文本防御，并通过迭代训练策略实现攻击的转移性。我们的方法在多个基准数据集上得到了验证，表明我们的互模态攻击策略能够有效产生高可转移攻击，并且优于最先进的攻击方法，可作为即插即用解决方案。

    Dec, 2023