May, 2024

微小预训练数据的损坏改进扩散模型

PDF
TL;DR通过对扩散模型（DMs）预训练数据的综合研究，发现轻微的破坏性改变可以显著提高 DMs 生成图像的质量和多样性，同时介绍了一种简单的方法 —— 条件嵌入扰动（CEP），可大幅改善 DMs 在预训练和后续任务中的性能。
diffusion modelspre-trainingcorruptionimage generationcondition embedding perturbations
发现论文，激发创造
  • 少样本微调中扩散模型的破坏阶段研究及贝叶斯神经网络的缓解

    少样本微调的扩散模型存在训练过程中的图像质量退化现象，通过使用贝叶斯神经网络来解决这一问题，可以有效改善生成图像的质量和多样性。

    May, 2024

  • 环境扩散：从损坏的数据中学习干净的分布

    介绍了一种基于扩散的框架，可以使用高度损坏的样本学习未知分布，通过在扩散过程中引入附加的测量损坏，并要求模型从进一步损坏的图像中预测原始损坏的图像，来学习完整未损坏图像的条件期望。

    May, 2023

  • 使用频率偏置模型提高对通用损坏的鲁棒性

    本文提出了两种高 / 低频鲁棒性混合的专家模型以及一种最小化卷积特征图总变差 (TV) 的正则化方法，成功应用于诸如 ImageNet-C 以及汽车数据集等多种实际环境的图像分类和目标检测任务，同时提升了在受损图像方面的鲁棒性。

    Mar, 2021

  • 基于文本引导的鲁棒性基准测试

    本研究探讨了图像分类器对以文字为导向的失真的鲁棒性，并利用扩散模型对图像进行不同域的编辑，研究结果表明： 在不同语言为基础的失真和编辑域中，图像分类器的性能显著下降，卷积模型比变压器架构更为鲁棒，同时，常见的数据扩充技术可以提高原始数据和编辑图像的性能。

    Apr, 2023

  • Diffusion-C: 通过损坏数据揭示扩散模型的生成挑战

    使用 Diffusion-C 方法分析 Diffusion Models 的生成限制，通过对经过各种腐败方式和强度处理的输入视觉数据的使用，阐明了这些 Diffusion Models 的性能特征，并探讨了影响深度学习系统机制的噪声成分的重要性。

    Dec, 2023

  • 超越原地损坏：插入和删除在去噪概率模型中

    本文提出了一种更广泛的 DDPMs，能够处理序列数据中插入和删除元素的噪声，该模型在算术序列任务和 text8 数据集上表现出较好的结果，并可用于拼写错误的修复。

    Jul, 2021

  • 利用乘法权重扰动提高对损毁的强敏感性

    深度神经网络在干净图像上表现出色，但在损坏图像上表现不佳。本文提出了一种改善深度神经网络对各种损坏的鲁棒性且不损害干净图像准确性的一种方法，该方法通过引入输入扰动，模拟在权重空间中的乘法扰动，并通过数据增强训练深度神经网络。实验证明该方法能显著提高模型的泛化性能，并在不同环境中证明了其有效性。

    Jun, 2024

  • 通过协变量转移适应性提高对常见数据损坏的稳健性

    本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

    Jun, 2020

  • 使神经网络对多种图像污染具有鲁棒性的简单方法

    该研究论文证明，通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练，可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性，并结合敌对训练方法进一步提高性能。

    Jan, 2020

  • 对抗训练对常见噪声的有效性

    本文针对常见数据污染问题，探讨了对抗训练在提高精度和校准性方面比简单高斯噪声数据增强更有效的现象，并提出了新的方法 —— 基于感知图像补丁相似度的对抗训练松弛，通过实验验证此方法可以优化原有的对抗训练基础模型，同时结合数据增强策略获得更好的性能。

    Mar, 2021