从视觉语言模型中去除不安全内容以用于文本到图像检索和生成

Nov, 2023

从视觉语言模型中去除不安全内容以用于文本到图像检索和生成

Removing NSFW Concepts from Vision-and-Language Models for Text-to-Image Retrieval and Generation

Samuele Poppi, Tobia Poppi, Federico Cocchi, Marcella Cornia, Lorenzo Baraldi...

TL;DR通过从大型语言模型中提取训练数据并进行微调，我们介绍了一种使视觉与语言模型对不适宜的内容不敏感的方法，并展示了它在文本 - 图像检索和生成中的有效性。

Abstract

vision-and-language models such as CLIP have demonstrated remarkable effectiveness across a wide range of tasks. However, these models are typically trained on web-scale data, which can introduce inappropriate content and lead to the development of unsafe and biased behavior. This, in

vision-and-language models safety bias not-safe-for-work concepts embedding space

发现论文，激发创造

图像安全维护：使用条件视觉语言模型推理和逆向遮蔽危险内容

社交媒体平台通过使用人工智能和人工审核，模糊分享危险内容的图像以提高用户安全性，研究了图像模糊的理由和最小化模糊的方法，并通过实验证明了所提出方法的有效性。

Jan, 2024

绕过文本到图像生成模型的概念消除方法

从文本到图像生成模型到 AI 安全的概念消除方法，这篇论文研究了五种最近提出的概念消除方法，并展示了这些方法中没有一个能完全抹除目标概念，并通过利用特殊的学习词嵌入证明了目标概念可以从消除后的模型中找回，这突显了事后概念消除方法的脆弱性，并对其在 AI 安全算法工具箱中的使用产生了质疑。

Aug, 2023

SafeGen: 缓解文本生成图像模型的不安全内容

SafeGen 是一种抵御文本到图像模型生成不安全内容的框架，通过消除不安全的视觉表示，从而提高抵御对抗性提示的能力，并在保留良性图像的高保真度的同时有效地抑制不安全内容的生成，超过了八种最先进的基线方法，实现了 99.1% 的性别内容去除性能。

Apr, 2024

几乎零成本的安全微调：视觉大型语言模型的基准

当前的大型视觉语言模型存在生成有害内容的问题以及容易受到恶意攻击的问题。为了解决这个问题，我们筛选了一个视觉语言安全指令数据集 VLGuard，并将其整合到标准的视觉语言微调中，使模型在安全性方面得到了有效的提升，同时对模型的帮助性影响最小甚至有所增强。经验结果表明，经过微调的大型视觉语言模型能够有效拒绝不安全的指令，并大幅降低几种黑盒对抗攻击的成功率。

Feb, 2024

儿童视频内容的视觉语言模型用于内容管理的潜力

该研究通过评估多种 CLIP 变种模型在儿童动画视频内容管理中的性能，展示了 Vanilla CLIP with Projection Layer 模型在提供更多上下文环境的内容管理提示方面优于以往工作的结果。研究结果表明，在内容管理提示中加入更多上下文对于卡通视频是必要的，因为它们在 CLIP 训练数据中的表示不足。

Dec, 2023

面向互联网规模文本到图像扩散模型的安全自蒸馏

本文提出了一种叫做 SDD 的方法，可以在图像生成模型中避免生成有害内容，该方法相对于之前的方法可以更彻底地除去生成图像中的有害内容，同时保持图像的整体质量，并且能够一次性去除多个概念。

Jul, 2023

通过知识蒸馏促进开放域对话系统中 NSFW 文本的检测

研究聚焦于 NSFW 内容检测在开放域对话系统中带来的副作用，介绍了一个对话监控数据集 CensorChat，利用 GPT-4 和 ChatGPT 进行知识蒸馏，开发了一种成本效益高的 NSFW 内容检测方法，强调了在数字对话中 AI 系统优先考虑用户安全和福祉，同时尊重言论自由。

Sep, 2023

使用条件似然过滤减少语言模型的危害

提出一种从网页规模数据集中识别和过滤有害文本的方法，使用预训练语言模型计算特定文档条件下研究员编写的触发词组的对数似然，并根据该结果识别和过滤数据集中的文档，证明在过滤后的数据集上训练的语言模型产生有害文本的倾向更低，性能与未过滤基线相比略有降低，最后探讨了此方法的推广前景及其对语言模型值域的对齐性方面的作用。

Aug, 2021

GuardT2I：保护文本到图像模型免受对抗性提示攻击

通过使用生成方法增强文本到图像模型的鲁棒性，GuardT2I 框架在对抗性场景下显著优于 OpenAI-Moderation 和 Microsoft Azure Moderator 等商业解决方案。

Mar, 2024

六 - CD：用于良性文本图像扩散模型概念去除的基准测试

通过引入新数据集 Six-CD 和新评估指标，我们对文本到图像扩散模型中的概念去除方法进行了细致评估，并提供了有价值的观察和讨论。

Jun, 2024