通过分数蒸馏实现对基于扩散模仿的有效保护

Oct, 2023

通过分数蒸馏实现对基于扩散模仿的有效保护

Toward effective protection against diffusion based mimicry through score distillation

Haotian Xue, Chumeng Liang, Xiaoyu Wu, Yongxin Chen

TL;DR本研究针对生成扩散模型，发现攻击点在于编码器模块，并提出了 Score Distillation Sampling (SDS) 策略来保护图像并减少内存占用，同时通过最小化语义损失生成更自然的扰动，希望能够为恶意扩散模仿的防御做出贡献。

Abstract

While generative diffusion models excel in producing high-quality images, they can also be misused to mimic authorized images, posing a significant threat to AI systems. Efforts have been made to add calibrated perturbations to protect images from diffusion-based →

generative diffusion models mimicry pipelines latent diffusion models protection strategies semantic loss

发现论文，激发创造

理解和改进潜在扩散模型上的对抗攻击

通过引入全面的理论框架并提出新的对抗性攻击方法，本文对基于 LDM 的对抗性攻击进行了深入研究，通过严格的实验，证明该方法优于现有攻击方法，并能在不同的基于 LDM 的少样本生成流程中进行泛化，成为在新一代强大生成模型中可为暴露于数据隐私和安全风险中的人们提供更强大和高效的保护工具。

Oct, 2023

像素是一道屏障：扩散模型比我们认为的更具对抗性的鲁棒性

通过对扩散模型中的对抗性示例进行研究，我们发现扩散模型在像素空间中对抗性示例 (即 PDMs) 具有较强的鲁棒性，并可用作有效去除对 LDMs 生成的对抗性模式的净化器，使得现有的多种保护方法在一定程度上无法有效保护我们的图像。

Apr, 2024

基于对抗蒸馏的计算机辅助设计：逼真三维生成

利用预训练扩散模型的一种新型学习方法，直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模，从而实现了高保真度和逼真度的三维内容生成，条件为单张图像和提示。通过利用生成对抗网络（GANs）的潜在空间和表达力丰富的扩散模型先验，我们的方法促进了各种三维应用，包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明，与以往的工作相比，我们的流程在生成质量和多样性方面表现出更强的优势。

Dec, 2023

Adv-KD: 教师对抗知识蒸馏以加速扩散采样

通过将去噪步骤直接整合到模型的架构中，本研究提出了一种新方法，将扩散模型与生成对抗网络结合起来，通过知识蒸馏实现更高效的训练和评估，从而减少了所需的参数和去噪步骤，提高了测试时的采样速度。

May, 2024

DreamSampler：融合扩散采样和得分蒸馏的图像编辑方法

通过 DreamSampler 框架，通过对正则化潜在优化的透镜，整合了逆向采样和分数蒸馏两种不同方法，实现了对图像编辑和重建的指导，从而展示了与现有方法相比的竞争性性能和新的应用。

Mar, 2024

使用潜在扩散模型进行高分辨率图像合成

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021

扩散模型无法学习的示例：保护数据免受未经授权的利用

本文提出了一种针对 Diffusion Model 的保护图像的方法，通过生成样本特定的扰动噪声使训练数据难以被 Diffusion Model 学习，以此保护隐私和版权。

Jun, 2023

不是所有的步骤都相等：选择性扩散蒸馏用于图像操作

本文介绍了一种名为选择性扩散蒸馏（SDD）的新框架，其在图像处理任务中克服了扩散模型的权衡问题，通过在扩散模型指导下训练前馈图像操作网络和适当选择语义相关的时间步长，获得了图像的保真度和可编辑性。

Jul, 2023

降低鉴别器引导扩散模型中的曝光偏差

SEDM-G++ 结合鉴别器引导和 Epsilon 缩放的改进取样方法，解决了扩大偏差的持久问题，提高了生成图像的质量。

Nov, 2023

潜在扩散模型的鲁棒性

该研究通过分析内部组件对白盒健壮性的影响并评估黑盒健壮性，研究了潜在扩散模型的鲁棒性，发现文献中缺少完整的基准数据集，缺陷自动数据集构建管道可提供数据，用以发掘该模型鲁棒性。

Jun, 2023