Jul, 2023
利用图像和声音进行多模态 LLMs 中的间接指令注入
(Ab)using Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs
Eugene Bagdasaryan, Tsung-Yin Hsieh, Ben Nassi, Vitaly Shmatikov
TL;DR图像和声音可被用于多模态 LLMs 中的间接提示和指令注入,攻击者通过对图像或音频进行意义相关的干扰并使其融入其中,从而使模型输出攻击者选择的文本和 / 或遵循攻击者指令的后续对话,我们通过几个概念验证实例来说明这种攻击,针对的模型为 LLaVa 和 PandaGPT。