Jul, 2023

BAGM: 用于操纵文本到图像生成模型的后门攻击

TL;DR本研究报告介绍了针对文本到图像生成模型的后门攻击(BAGM),该攻击通过修改嵌入式分词器和预训练的语言和视觉神经网络的行为来对文本到图像生成流程的各个阶段进行攻击。我们将 BAGM 的效果与其他最新出现的相关方法进行了比较,并为未来评估后门攻击对生成式 AI 模型的性能贡献了一套定量指标。我们在数字营销场景下以稳定扩散流水线作为目标领域来验证所提出的框架的有效性,并贡献了一个品牌产品图像数据集。我们希望这项工作能够揭示当代生成式 AI 安全挑战,并促进对预防性措施的讨论。