May, 2024

少样本微调中扩散模型的破坏阶段研究及贝叶斯神经网络的缓解

PDF
TL;DR少样本微调的扩散模型存在训练过程中的图像质量退化现象，通过使用贝叶斯神经网络来解决这一问题，可以有效改善生成图像的质量和多样性。
few-shot fine-tuningdiffusion modelscorruption stageimage fidelitybayesian neural networks
发现论文，激发创造
  • 微小预训练数据的损坏改进扩散模型

    通过对扩散模型（DMs）预训练数据的综合研究，发现轻微的破坏性改变可以显著提高 DMs 生成图像的质量和多样性，同时介绍了一种简单的方法 —— 条件嵌入扰动（CEP），可大幅改善 DMs 在预训练和后续任务中的性能。

    May, 2024

  • Diffusion-C: 通过损坏数据揭示扩散模型的生成挑战

    使用 Diffusion-C 方法分析 Diffusion Models 的生成限制，通过对经过各种腐败方式和强度处理的输入视觉数据的使用，阐明了这些 Diffusion Models 的性能特征，并探讨了影响深度学习系统机制的噪声成分的重要性。

    Dec, 2023

  • 环境扩散：从损坏的数据中学习干净的分布

    介绍了一种基于扩散的框架，可以使用高度损坏的样本学习未知分布，通过在扩散过程中引入附加的测量损坏，并要求模型从进一步损坏的图像中预测原始损坏的图像，来学习完整未损坏图像的条件期望。

    May, 2023

  • 使用频率偏置模型提高对通用损坏的鲁棒性

    本文提出了两种高 / 低频鲁棒性混合的专家模型以及一种最小化卷积特征图总变差 (TV) 的正则化方法，成功应用于诸如 ImageNet-C 以及汽车数据集等多种实际环境的图像分类和目标检测任务，同时提升了在受损图像方面的鲁棒性。

    Mar, 2021

  • 自然鲁棒性动态批归一化统计更新

    采用傅里叶域检测损坏类型和更新 BatchNorm 统计信息的统一框架，可提高任何现成模型的损坏准确性，并进一步改善先进的稳健模型的准确性。

    Oct, 2023

  • 扩散模型的差分隐私微调

    在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。

    Jun, 2024

  • 测试时间适应的高效扩散驱动腐败编辑器

    利用潜在扩散模型和新引入的损坏建模方案对传统的基于像素扩散的图像修复方案进行改进，从而提高图像修复的鲁棒性和实际性，加快运行速度，并在各种架构和数据集上得到了广泛验证。

    Mar, 2024

  • DomainStudio: 使用有限数据对领域驱动图像生成的扩散模型进行微调

    本文提出了一种 DomainStudio 方法，用于将在大规模源数据集上预先训练的 DDPMs 调整到目标域，以在目标域中生成高质量且具有多样性的样本，从而实现无条件少样本图像生成。

    Jun, 2023

  • 加速扩散模型的训练：一种一致性现象的启示

    扩散模型在近年来引起了广泛关注，然而其高计算成本限制了实际应用，本文通过研究发现了扩散模型的稳定性，并提出了两种训练加速策略，即课程学习的时间步骤调度和动量衰减策略。实验结果表明，这些策略可以显著减少训练时间并提高生成图像的质量。

    Mar, 2024

  • 重新审视批归一化以提高抗扰动性

    本研究中，我们将深度神经网络中的几项统计学指标变换为适应不同数据集，并通过少量表示样本的统计估计实现批量归一化统计量的调整与适应，从而在多种基准数据集上得到了更好的数据集迁移性和鲁棒性表现。

    Oct, 2020