Jul, 2024
非对齐万事通：或在多模态模型中将任何文本对齐到任何图像
Unaligning Everything: Or Aligning Any Text to Any Image in Multimodal Models
Shaeke Salman, Md Montasir Bin Shams, Xiuwen Liu
TL;DR通过共享嵌入空间，新兴的多模态模型展示了空前的零样本能力。然而，如果不同的模态存在错位，共享嵌入空间可能会带来新的弱点。本文通过最小程度地修改图像来匹配给定文本的嵌入，展示了使用最近开发的有效基于梯度的过程，证明了我们能够通过不可察觉的对抗性攻击将可区分文本的嵌入与任意图像对齐，揭示了语义不相关的图像可以拥有相同文本的嵌入，并且在视觉上难以区分的图像可以与非常不同的文本的嵌入匹配。我们的技术在应用到来自多个来源的文本数据集和图像时达到了 100% 的成功率。如果不能克服这个弱点，多模态模型无法在语义上有意义地稳定地对齐来自不同模态的输入。