T2VSafetyBench评估文本到视频生成模型的安全性
该研究提出了一种名为SneakyPrompt的自动化攻击框架，使用强化学习来生成可以绕过现有文本到图像生成模型的安全过滤器的不安全内容。实验表明，SneakyPrompt不仅可以成功生成NSFW内容，而且在查询数量和图像质量方面也优于现有的对抗攻击。
May, 2023
该研究旨在解决文本到图像（text-to-image，T2I）模型的安全问题，通过引入Adversarial Nibbler挑战，通过收集和分析对当前state-of-the-art T2I模型的攻击，来提高人们对这些问题的认识。
May, 2023
我们的研究论文使用形式化定义“harm amplification”，并开发了量化伤害扩大的方法，旨在解决Text-to-image模型中的安全问题，并在实际部署场景中检验了不同方法的效果，包括伤害扩大对不同性别的差异影响。
Feb, 2024
我们提出了第一个用于黑盒情况下安全T2I生成的通用提示优化器，通过构建毒性-清洁提示对数据集，设计奖励函数衡量生成图像的毒性和文本对齐度来训练优化器，实验证明我们的方法可以显著减少不当图像的生成概率，并且对文本对齐没有明显影响，同时与其他方法相结合能够取得更好的性能。
Feb, 2024
从生成图像的文本到图像（T2I）生成AI模型的发展中，评估模型对非明显攻击的鲁棒性至关重要。在本文中，我们通过关注“隐式对抗”提示（触发T2I模型因非明显原因生成不安全图像的提示），独立确定了一组难以发现的安全问题，而人类创造力很适合揭示这些问题。通过构建Adversarial Nibbler Challenge，一种用于众包隐式对抗提示的红队方法，我们汇集了一套最先进的T2I模型，并采用简单的用户界面来识别和注释伤害，与不同人群合作，以捕捉在标准测试中可能被忽视的长尾安全问题。挑战以连续轮次进行，以便在T2I模型的安全隐患的发现和分析中持续进行。本文详细介绍了我们的方法、对新攻击策略的系统性研究以及挑战参与者揭示的安全故障的讨论。我们还发布了一个伴随的可视化工具，方便从数据集中探索和得出洞察。第一轮挑战结果得到了超过10,000个提示-图像对的安全机器注释，其中1,500个样本的注释包含丰富的人工伤害类型和攻击风格。我们发现，人类认为有害的图像中，有14％被机器错误标记为“安全”。我们已经发现了新的攻击策略，凸显了确保T2I模型的鲁棒性的复杂性。我们的研究结果强调了对新漏洞的持续审核和适应性的必要性。我们相信这项工作将促进积极的、迭代性的安全评估，并促进T2I模型的负责开发。
Feb, 2024
SafeGen是一种抵御文本到图像模型生成不安全内容的框架，通过消除不安全的视觉表示，从而提高抵御对抗性提示的能力，并在保留良性图像的高保真度的同时有效地抑制不安全内容的生成，超过了八种最先进的基线方法，实现了99.1%的性别内容去除性能。
Apr, 2024
UnsafeBench是一个评估图像安全分类器的有效性和鲁棒性的基准框架；通过评估五种常用的图像安全分类器和三种通用视觉语言模型驱动的分类器，发现现有的图像安全分类器在应对不安全图像的多方面问题上不够全面和有效，并且当适用于AI生成的图像时，仅基于真实世界图像训练的分类器性能会下降；据此，设计并实现了一款名为PerspectiveVision的综合图像审核工具，该工具可以有效地识别11类真实世界和AI生成的不安全图像，最佳PerspectiveVision模型在六个评估数据集上实现了0.810的整体F1-Score，与GPT-4V等封闭源和昂贵的最先进模型相当。UnsafeBench和PerspectiveVision有助于研究界更好地了解生成式AI时代的图像安全分类领域。
May, 2024
大规模的预训练生成模型在生成创意内容方面表现出色，但是存在安全风险，为了保护用户的权益和安全，我们提出了一种名为ART的新型自动红队框架，旨在通过结合视觉语言模型和大型语言模型，有效地识别文本转图像模型的漏洞，并通过实验证明了这种方法的有效性和适应性，以及ART引入的三个大规模红队数据集用于研究与文本转图像模型相关的安全风险。
May, 2024
通过使用视频生成模型生成包含不安全内容的视频，本研究旨在全面了解不安全视频生成的潜力和相关的防御机制，其中通过聚类和主题编码分析生成的视频，确定了5个不安全视频类别，并提出了一种新的名为潜变量防御（LVD）的方法来预防不安全视频的生成。
Jul, 2024