排版引领语义多元化：跨多模态大型语言模型的对抗传递增强

May, 2024

排版引领语义多元化：跨多模态大型语言模型的对抗传递增强

Typography Leads Semantic Diversifying: Amplifying Adversarial Transferability across Multimodal Large Language Models

Hao Cheng, Erjia Xiao, Jiahang Cao, Le Yang, Kaidi Xu...

TL;DR本文提出了基于字体的语义转移攻击（TSTA），通过干扰多模态大型语言模型（MLLMs）所捕捉的视觉信息，以在有害词语插入和重要信息保护场景中展现优异性能。

Abstract

Following the advent of the Artificial Intelligence (AI) era of large models, multimodal large language models (MLLMs) with the ability to understand cross-modal interactions between vision and text have attracted wide attention. Adversarial examples with human-imperceptible perturbati

multimodal large language models adversarial transferability diversity in input data typographic-based semantic transfer attack harmful word insertion

发现论文，激发创造

语义扰动下的互模态对抗攻击

我们提出了一种新的方法，在互模态优化方案中生成对抗性攻击，利用预训练的 CLIP 模型进行视觉攻击和文本防御，并通过迭代训练策略实现攻击的转移性。我们的方法在多个基准数据集上得到了验证，表明我们的互模态攻击策略能够有效产生高可转移攻击，并且优于最先进的攻击方法，可作为即插即用解决方案。

Dec, 2023

集合级指导攻击：增强视觉 - 语言预训练模型的对抗迁移能力

通过对最近的 VLP 模型的对抗性传递性进行第一次研究，我们观察到现有方法在传递性方面表现较低，这部分原因是由于对跨模态交互的利用不足。因此，我们提出了一种高传递性的集合级引导攻击（SGA）方法，该方法充分利用模态交互，并结合保留对齐的增强和跨模态引导。实验结果表明，SGA 能够生成强力传递到不同 VLP 模型上的对抗性示例，在多个下游视觉语言任务中，SGA 显著增强了从 ALBEF 到 TCL 的传递攻击的成功率，比现有技术至少提高了 9.78％，最高可达 30.21％。

Jul, 2023

对编码任务中大型语言模型的转移攻击和防御

现代大型语言模型（LLMs）在编码任务中表现出令人印象深刻的能力，如 ChatGPT，改进了以前的神经网络代码模型，例如 code2seq 或 seq2seq，这些模型在执行诸如代码摘要和识别代码漏洞等任务时已经表现出有竞争力的结果。然而，这些以前的代码模型被显示为易受对抗性示例的攻击，即不改变程序语义的小的句法扰动，例如通过虚假条件包含 “死代码” 或添加无关紧要的打印语句，专为 “愚弄” 模型而设计。LLMs 也可能容易受到相同对抗性扰动的攻击，但迄今为止对此问题缺乏详细研究。本文旨在研究对 LLMs 的编码任务的对抗性扰动的影响。具体而言，我们研究通过对较小的代码模型进行白盒攻击生成的对抗性示例对 LLMs 的可转移性。此外，为了使 LLMs 对此类对手更加强大，而无需重新训练的成本，我们提出了基于提示的防御措施，其中修改提示以包括经过对抗性扰动的代码示例的附加信息和反转对抗性扰动的明确指示。我们的实验证明，使用较小的代码模型获得的对抗性示例确实具有可转移性，削弱了 LLMs 的性能。提出的防御措施显示出改善模型的韧性的潜力，为与代码相关的应用的 LLMs 提供更加稳健的防御解决方案铺平了道路。

Nov, 2023

SA-Attack: 通过自我增强改善视觉语言预训练模型的对抗可转移性

通过总结和分析现有研究，我们确定了可以影响 Visual-Language Pre-training 模型上的转移攻击效果的两个因素：跨模态交互和数据多样性。基于这些观察，我们提出了一种新的基于自我增强的转移攻击方法，称为 SA-Attack。我们在 Flickr30K 和 COCO 数据集上的实验证实了我们方法的有效性。

Dec, 2023

面向自动驾驶中基于视觉和语言模型的可转移攻击的研究

借助于大规模视觉 - 语言模型，本研究探索了针对自动驾驶系统的印刷攻击，重点关注真实交通场景中这些攻击的部署方式及其对决策自主性的潜在影响，对于已有的大规模视觉 - 语言模型表示特别有害的印刷攻击引起了社区的关注。

May, 2024

基于扩散模型的语义对抗攻击

通过利用最近的扩散模型的潜在空间中的语义信息，本文提出了一个快速生成语义对抗攻击的框架，并在 CelebA-HQ 和 AFHQ 数据集上进行了大量实验，与其他基线相比，我们的框架在多种情境中取得了极高的成功率，最佳 FID 为 36.61。

Sep, 2023

StyLess: 提升对抗样本的可迁移性

本研究提出一种称为 StyLess 的对抗攻击方法，通过使用包含不同风格特征的样式化网络，以及利用自适应实例标准化来编码不同的风格特征，从而生成具有可转移性的扰动，以此提高对抗样本的攻击传递能力，并在与其他攻击技术结合时优于现有的攻击方法。

Apr, 2023

提高恶意示例的可转移性：任意风格转移

通过使用不同域中的数据增强，我们提出了一种名为 Style Transfer Method（STM）的新的攻击方法，利用提出的任意风格转换网络将图像转换为不同的域，从而显著提高了对抗性可转移性。

Aug, 2023

学习动态转化以提高对抗迁移性能

通过学习选择最佳的变换组合以提高对抗传递能力的一种新方法，名为 Learning to Transform (L2T)，在实验中展现出优于现有方法的性能，并证实其有效性和实用意义。

May, 2024

学习可转移攻击

本论文提出了一种学习如何生成可迁移的对抗扰动的方法，该方法结合了数据增广、模型增广和元学习算法，实验证明该方法的成功率比当前最先进的方法提高了 12.85％。

Dec, 2021