社交媒体平台通过使用人工智能和人工审核，模糊分享危险内容的图像以提高用户安全性，研究了图像模糊的理由和最小化模糊的方法，并通过实验证明了所提出方法的有效性。

Jan, 2024

该研究探讨了大规模视觉 - 语言生成模型（VLGMs）在生成有害内容方面的倾向性和易感性，并建立了 ToViLaG 数据集以评估其毒性。此外，提出了一种适用于视觉 - 语言生成的新型毒性度量标准 WInToRe，并开发了一种基于瓶颈的毒素去除方法，为该领域研究提供了有希望的初步解决方案。

Dec, 2023

通过从大型语言模型中提取训练数据并进行微调，我们介绍了一种使视觉与语言模型对不适宜的内容不敏感的方法，并展示了它在文本 - 图像检索和生成中的有效性。

Nov, 2023

本文的研究旨在理解 UGC 游戏视频的感知特征，采用主观人类研究和客观评估方法评价零星的 UGC 游戏视频，评估了包括基于自然视频统计和 CNN 学习特征的 GAME-VQP 模型在内的多个最新 VQA 模型，为游戏视频的 VQA 模型开发提供帮助。

Mar, 2022

该研究通过评估多种 CLIP 变种模型在儿童动画视频内容管理中的性能，展示了 Vanilla CLIP with Projection Layer 模型在提供更多上下文环境的内容管理提示方面优于以往工作的结果。研究结果表明，在内容管理提示中加入更多上下文对于卡通视频是必要的，因为它们在 CLIP 训练数据中的表示不足。

Dec, 2023

通过使用生成方法增强文本到图像模型的鲁棒性，GuardT2I 框架在对抗性场景下显著优于 OpenAI-Moderation 和 Microsoft Azure Moderator 等商业解决方案。

Mar, 2024

该研究针对基于数据驱动的文本 - 图像生成模型在大规模情况下生成不适当内容的问题，提出了一种评估和缓解策略，通过对模型对世界 “丑陋” 的表达来与人类偏好进行对齐，以达到有效防止不适当内容的生成。

May, 2023

强大的生成型大语言模型 (LLMs) 成为了公众问答系统中流行的工具，而且正在被像儿童这样的弱势群体使用。本文探讨了 LLMs 在在线防止网络诱导方面的有效性，包括通过生成建议来识别和避免诱导，并且通过改变提供的上下文和提示的特异性来研究提示设计对模型性能的影响。通过对超过 6000 个 LLM 的互动进行反思，我们发现没有一个模型明确适用于在线防止网络诱导，行为的一致性缺乏，并且存在潜在的有害答案生成，特别是来自开源模型。我们概述了模型的不足之处，并提出了改进建议，并确定了严重改变模型性能的提示设计，并得出研究结果可用于制定最佳实践使用指南。

Mar, 2024

通过使用两阶段统一的高绑定效果水印验证机制，我们提出了一种对无条件图像生成模型进行版权保护和数据验证的方法，可以在使用模型输出图像的情况下几乎实现零误报率的验证工作，而且可以跨不同类型的模型实现数据窃取验证。

Oct, 2023

SafeGen 是一种抵御文本到图像模型生成不安全内容的框架，通过消除不安全的视觉表示，从而提高抵御对抗性提示的能力，并在保留良性图像的高保真度的同时有效地抑制不安全内容的生成，超过了八种最先进的基线方法，实现了 99.1% 的性别内容去除性能。

Apr, 2024