MMAug, 2023
AdvCLIP:多模态对比学习中与下游无关的对抗样本
AdvCLIP: Downstream-agnostic Adversarial Examples in Multimodal Contrastive Learning
Ziqi Zhou, Shengshan Hu, Minghui Li, Hangtao Zhang, Yechao Zhang...
TL;DR使用 AdvCLIP 构建通用的对抗例子,用于欺骗继承了受害交叉模态预训练编码器的所有下游任务,以实现跨模态图像文本检索和图像分类等复杂任务的非目标攻击。