该研究旨在解决文本到图像（text-to-image，T2I）模型的安全问题，通过引入 Adversarial Nibbler 挑战，通过收集和分析对当前 state-of-the-art T2I 模型的攻击，来提高人们对这些问题的认识。

May, 2023

通过将 LLMs 生成的对抗性提示用于 GPT-4 辅助 DALLE-3，引入了一种称为分治攻击的方法，绕过了文本到图像模型的安全过滤器，可能对安全性产生更严重的影响。

Dec, 2023

通过使用生成方法增强文本到图像模型的鲁棒性，GuardT2I 框架在对抗性场景下显著优于 OpenAI-Moderation 和 Microsoft Azure Moderator 等商业解决方案。

Mar, 2024

大规模的预训练生成模型在生成创意内容方面表现出色，但是存在安全风险，为了保护用户的权益和安全，我们提出了一种名为 ART 的新型自动红队框架，旨在通过结合视觉语言模型和大型语言模型，有效地识别文本转图像模型的漏洞，并通过实验证明了这种方法的有效性和适应性，以及 ART 引入的三个大规模红队数据集用于研究与文本转图像模型相关的安全风险。

May, 2024

本文提出了一种树形自编码器和目标可控对抗攻击框架 T3，可用于测试 NLP 模型的鲁棒性，特别是在情感分析和问题回答等领域，证明该框架生成的对抗文本能够成功地操纵 NLP 模型输出，并具有很高的可迁移性。

Dec, 2019

SafeGen 是一种抵御文本到图像模型生成不安全内容的框架，通过消除不安全的视觉表示，从而提高抵御对抗性提示的能力，并在保留良性图像的高保真度的同时有效地抑制不安全内容的生成，超过了八种最先进的基线方法，实现了 99.1% 的性别内容去除性能。

Apr, 2024

本文提出了一种针对图像到文本模型的灰盒对抗攻击方法，并通过实验验证了其有效性。

Jun, 2023

从生成图像的文本到图像（T2I）生成 AI 模型的发展中，评估模型对非明显攻击的鲁棒性至关重要。在本文中，我们通过关注 “隐式对抗” 提示（触发 T2I 模型因非明显原因生成不安全图像的提示），独立确定了一组难以发现的安全问题，而人类创造力很适合揭示这些问题。通过构建 Adversarial Nibbler Challenge，一种用于众包隐式对抗提示的红队方法，我们汇集了一套最先进的 T2I 模型，并采用简单的用户界面来识别和注释伤害，与不同人群合作，以捕捉在标准测试中可能被忽视的长尾安全问题。挑战以连续轮次进行，以便在 T2I 模型的安全隐患的发现和分析中持续进行。本文详细介绍了我们的方法、对新攻击策略的系统性研究以及挑战参与者揭示的安全故障的讨论。我们还发布了一个伴随的可视化工具，方便从数据集中探索和得出洞察。第一轮挑战结果得到了超过 10,000 个提示 - 图像对的安全机器注释，其中 1,500 个样本的注释包含丰富的人工伤害类型和攻击风格。我们发现，人类认为有害的图像中，有 14％被机器错误标记为 “安全”。我们已经发现了新的攻击策略，凸显了确保 T2I 模型的鲁棒性的复杂性。我们的研究结果强调了对新漏洞的持续审核和适应性的必要性。我们相信这项工作将促进积极的、迭代性的安全评估，并促进 T2I 模型的负责开发。

Feb, 2024

该论文综述了生成对抗网络在文本到图像合成方面的发展以及面临的挑战，提出了一些研究方向，包括评估指标、数据集和模型架构设计等方面的改进。

Jan, 2021

通过生成对抗网络（GAN）或变压器模型进行文本到图像生成。提出了一种方法，利用人工智能模型进行主题创造，并对实际绘画过程进行分类建模。通过将所有视觉元素转化为可量化的数据结构来创建图像，并与现有的图像生成算法进行语义准确性、图像可复现性和计算效率方面的有效性评估。

Dec, 2023