Ceci n'est pas une pomme: 多模态嵌入中的对抗幻觉

Aug, 2023

Ceci n'est pas une pomme: 多模态嵌入中的对抗幻觉

Ceci n'est pas une pomme: Adversarial Illusions in Multi-Modal Embeddings

Eugene Bagdasaryan, Vitaly Shmatikov

TL;DR多模态编码器、敌对幻觉、嵌入空间、接近度、零样本分类。

Abstract

multi-modal encoders map images, sounds, texts, videos, etc. into a single embedding space, aligning representations across modalities (e.g., associate an image of a dog with a barking sound). We show that multi-