双密钥多模式背门用于视觉问答

CVPRDec, 2021

Dual-Key Multimodal Backdoors for Visual Question Answering

Matthew Walmer, Karan Sikka, Indranil Sur, Abhinav Shrivastava, Susmit Jha

TL;DR研究表明，多模态网络容易受到后门攻击，提出了一种称为双重密钥多模态后门攻击的新型攻击，通过视觉触发器优化策略，攻击成功率高达 98％，仅污染 1％的训练数据，最终发布了 TrojVQA，一个大型的干净和 Trojan VQA 模型集合，用于研究防御多模态后门攻击。

Abstract

The success of deep learning has enabled advances in multimodal tasks that require non-trivial fusion of multiple input domains. Although multimodal models have shown potential in many problems, their increased complexity makes them more vulnerable to attacks. A Backdoor (or Trojan) attack is a class of security vulnerability wherein an attacker embeds a mal

multimodal networks backdoor attacks dual-key backdoors visual question answering trojan vqa models

发现论文，激发创造

BadCLIP: 多模态对比学习的双嵌入引导后门攻击

本文介绍了一种名为 oolns 的抵抗后门检测和模型优化防御的攻击，通过基于贝叶斯规则的双嵌入引导框架，在自然触发模式中实现了视觉触发模式的文本目标语义近似，并通过优化视觉触发模式与目标视觉特征的一致性对目标样本进行了污染，证明其对现有的后门防御具有显著优势，引发了对多模态对比学习的潜在威胁的关注，并鼓励开发更加健壮的防御机制。

Nov, 2023

VL-Trojan: 自回归视觉语言模型的多模态指令后门攻击

通过 VL-Trojan 攻击，我们成功诱导目标输出，在推理过程中明显超过了基线（+62.52%），并且在各种模型规模和少样本上下文推理场景中展示了鲁棒性。

Feb, 2024

隐蔽触发后门攻击

本研究提出一种新颖的深度学习后门攻击方式，攻击者能够在训练过程中提供正常标注的毒瘤数据，并在毒瘤数据中隐藏触发器，待测试时再激活攻击，从而欺骗模型，而该攻击方式无法轻易通过最先进的后门攻击的防御算法进行防御。

Sep, 2019

通过混合模式潜在修改的后门攻击

提出一种只需对干净模型进行最小修改（特别是输出层）以在精调的假象下注入后门的后门攻击范例。通过利用位于潜空间中不同模态之间的模式混合样本，并引入一种新的后门攻击方法来实现。在 MNIST，CIFAR-10，GTSRB 和 TinyImageNet 数据集上评估该方法的有效性。

Mar, 2024

多触发后门攻击：更多触发器，更多威胁

本研究主要探究多重触发攻击对后门攻击的实际威胁性，并通过提出和研究三种类型的多重触发攻击，包括并行攻击、顺序攻击和混合攻击，以及在相同数据集上不同触发器之间相互存在的共存、互相覆盖和交叉激活效应等重要理解，揭示了单一触发器攻击过度乐观地评估当前防御技术安全性的问题，为未来后门攻击和防御的评估提供多重触发后门毒化数据集。

Jan, 2024

一种双重隐蔽后门：从空间和频率角度

本文提出了一种名为 DUBA 的双重隐蔽后门攻击方法，该方法同时考虑了触发器在时域和频域中的隐蔽性，以实现理想的攻击性能并确保强大的隐蔽性。通过在干净图像中嵌入触发器图像的高频信息，采用傅里叶变换和离散余弦变换在频域中混合毒害图像和干净图像，并采用一种新的攻击策略来进一步提高攻击性能和隐蔽性。对四个数据集上的流行图像分类器进行了广泛评估，结果表明 DUBA 在攻击成功率和隐蔽性方面明显优于现有的后门攻击方法。

Jul, 2023

视频识别模型的干净标记后门攻击

本文提出了一种新的视频后门攻击方法，使用通用对抗触发器在影响少量训练数据的情况下成功地攻击最新的视频识别模型，并表明这种新方法具有较强的对抗性和鲁棒性，同时能提高图片后门攻击的效果。

Mar, 2020

预训练的特洛伊攻击视觉识别

本研究旨在提高人们对在实际场景中应用预训练视觉模型所面临的潜在威胁的意识，并通过提出预训练特洛伊攻击来展示其在不同下游视觉任务中的有效性。

Dec, 2023

基于时域分布的视频行为识别反向攻击

本文介绍了一种针对视频数据的简单而有效的后门攻击方法，通过在转化域中添加微不可见、时间分布的触发器来跨视频帧进行攻击，并在对 UCF101、HMDB51 和希腊手语（GSL）数据集进行了广泛的实验验证其有效性，同时通过深入研究发现一种称为 “附带损害” 的有趣效应。

Aug, 2023

用于打破深度学习后门攻击防御的特洛伊木马训练

本研究论文介绍了一种新的多目标后门攻击，使用非后门模型作为教师模型解决最小最大优化问题提升攻击模型的性能，不能有效防御后门模型的特定输出的防御机制准确性将降至 0％。

Mar, 2022