Aug, 2023

退化调整：使用混淆网格屏蔽稳定扩散中的非期望概念

PDF
TL;DR通过使用一种名为 Degeneration-Tuning (DT) 的新策略，本研究提出了一种方法来保护文本到图像扩散模型中不需要的概念内容，同时对其他内容的生成质量影响较小。
text-to-image diffusion modelsstable diffusion (sd)negative promptdegeneration-tuning (dt)generative quality
发现论文，激发创造
  • 安全隐变扩散：缓解扩散模型中的不当降解

    为了解决当前依赖互联网数据随机抓取并导致人类行为退化和偏见的文本导向图像生成方法在生成图像时存在的问题，我们提出了一种名为安全潜在扩散（SLD）的图像噪声过滤方法，从而通过包含不恰当的图像提示的实际图像 - 文本提示解决了这些问题。经过详尽的实证评估表明，SLD 能够在扩散过程中去除不恰当的图像部分，不需要额外的培训，并且对图像质量或文本对齐没有负面影响。

    Nov, 2022

  • 只保留模型的手术概念擦除在文本到图像扩散模型中

    通过手术更新分类器导向项、限制无条件得分项的变化，以及赋予用户选择擦除概念的替代方案的能力，我们提出了一种能够有效擦除目标概念并保留生成能力的新方法。

    Dec, 2023

  • 面向互联网规模文本到图像扩散模型的安全自蒸馏

    本文提出了一种叫做 SDD 的方法，可以在图像生成模型中避免生成有害内容，该方法相对于之前的方法可以更彻底地除去生成图像中的有害内容，同时保持图像的整体质量，并且能够一次性去除多个概念。

    Jul, 2023

  • 孤立扩散：多概念文本到图像生成的优化 —— 在自由训练中使用孤立扩散引导

    通过单独的扩散过程和修订方法，本研究提出了一种针对大规模文本到图像扩散模型的通用方法，以解决复杂场景中不同主题及其附件之间的相互干扰，追求更好的文本图像一致性。

    Mar, 2024

  • SD-DiT：释放扩散变换器中自监督辨别的力量

    通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果，并在 ImageNet 数据集上进行了广泛实验，实现了训练成本和生成能力之间的竞争平衡。

    Mar, 2024

  • A-SDM: 通过冗余消除和性能优化加速稳定扩散

    通过模型架构调整、冗余剪枝、全局 - 局部交互注意机制和语义感知监督等方法，本研究提出了一种有效训练轻量级模型、并在有限资源下提高模型速度的方法。

    Dec, 2023

  • 扩散模型中的强鲁棒概念擦除修剪

    通过选择性修剪与要移除的概念相关的关键参数，改进了概念擦除技术的稳健性，并通过抵抗对抗性输入的实验结果证明了显著改进

    May, 2024

  • FT-Shield：一种针对文本到图像扩散模型的未经授权微调的水印

    基于潜在扩散模型的文本生成图像模型通过语言提示展现出了出色的能力，但由于版权侵犯的普遍担忧，本文提出了一种针对文本生成图像模型的水印方法 FT-Shield，以帮助检测侵权的情况。经过全面实验证明了 FT-Shield 的有效性。

    Oct, 2023

  • 基于扩散的图像翻译：使用解缕分离的风格和内容表征

    本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

    Sep, 2022

  • 通过分数蒸馏实现对基于扩散模仿的有效保护

    本研究针对生成扩散模型，发现攻击点在于编码器模块，并提出了 Score Distillation Sampling (SDS) 策略来保护图像并减少内存占用，同时通过最小化语义损失生成更自然的扰动，希望能够为恶意扩散模仿的防御做出贡献。

    Oct, 2023