DiffInject: 通过基于扩散的样式注入重新审视去偏倚

CVPRJun, 2024

DiffInject: 通过基于扩散的样式注入重新审视去偏倚

DiffInject: Revisiting Debias via Synthetic Data Generation using Diffusion-based Style Injection

Donggeun Ko, Sangwoo Jo, Dongjun Lee, Namjun Park, Jaekwang Kim

TL;DR通过使用预先训练的扩散模型，我们提出了一种名为 DiffInject 的简单而强大的方法，用于增强合成的偏置冲突样本，从而显著推进了扩散模型在去偏置中的应用。该方法不需要对偏置类型或标记进行明确的了解，使其成为一个完全无监督的去偏置设置。我们的方法在有效降低数据集偏差方面表现出显著的结果。

Abstract

dataset bias is a significant challenge in machine learning, where specific attributes, such as texture or color of the images are unintentionally learned resulting in detrimental performance. To address this, pr

dataset bias machine learning debiasing algorithms generative approaches diffusion models

发现论文，激发创造

扩散式人脸生成模型的偏差分析

本论文探究了扩散模型在人脸生成中存在的偏见来源，如性别、种族和年龄等属性，并调查了数据集大小对不同属性类别下扩散模型和对抗生成网络（GAN）模型的属性组成和感知质量的影响，结果发现扩散模型往往会恶化训练数据的分布偏见，同时受到数据集大小的影响，而拥有较多样本的平衡数据集训练的 GAN 模型在不同属性方面表现出较小的偏差。

May, 2023

欺骗性扩散：生成合成对抗样本

引入了欺骗扩散的概念 -- 训练生成 AI 模型以产生具有对抗性的图像。与传统的对抗性攻击算法不同，欺骗扩散模型可以创建任意数量的新的、被错误分类的图像，这些图像与训练或测试图像没有直接关联。欺骗扩散在规模上提供了对抗性训练数据以加强防御算法，包括在其他情况下难以找到的错误分类类型。在我们的实验中，我们还研究了在部分受攻击数据集上进行训练的效果。这突出了生成扩散模型的一种新型漏洞：如果攻击者能够秘密地污染部分训练数据，那么生成的扩散模型将产生相似比例的误导输出。

Jun, 2024

在空中训练：使用生成数据提高图像分类

本文介绍了一种名为 “Diffusion Inversion” 的方法，该方法使用预先训练的生成模型 Stable Diffusion，通过将图像倒换到其潜在空间中来捕获原始数据分布并确保数据覆盖，即可生成多样高质量的训练图片，此方法通过三个关键部件成功替换了原始数据集，从而提高了样本复杂度并缩短了采样时间，不仅优于泛化提示导向方法和 KNN 检索基线，还可与常见数据增强技术兼容，提高少样本学习的可靠性。

May, 2023

从真实数据到合成数据的转换：量化模型中的偏差

本研究旨在建立使用合成数据训练的模型在偏见和公平之间的权衡，并研究了合成数据生成技术的变体，包括差分隐私生成方案，通过实验表明，合成数据训练的模型存在不同程度的偏差影响，且生成的特征不相关的技术表现良好。该研究有助于数据科学实践者理解合成数据的使用中的偏见。

May, 2021

DetDiffusion：将生成模型和感知模型协同工作以提升数据生成和感知能力

当前的感知模型依赖于资源密集型的数据集，因此需要创新性的解决方案。通过利用扩散模型和合成数据，通过从各种注释中构建图像输入，有助于下游任务。DetDiffusion 首次统一了生成模型和感知模型，解决了为感知模型生成有效数据的挑战。为了增强感知模型的图像生成能力，我们引入了感知感知损失（P.A. 损失），通过分割改善图像的质量和可控性。为了提高特定感知模型的性能，我们的方法在生成过程中提取和利用感知感知属性（P.A. 属性）进行自定义数据增强。目标检测任务的实验结果突出了 DetDiffusion 卓越的性能，在布局引导生成方面建立了新的最先进技术水平。此外，DetDiffusion 生成的图像合成能够有效增强训练数据，显著提高下游检测性能。

Mar, 2024

引导扩散：一种泛化的插拔式条件图像合成框架

通过使用预先训练的逆模型设计的损失，利用扩散模型的生成控制能力，我们引入了 Steered Diffusion，这是一个通用的框架，用于实现基于扩散模型的逼真零样本条件图像生成，以在推理时引导扩散模型的图像生成过程。我们的实验表明，与最先进的基于扩散的即插即用模型相比，我们的框架在多种任务上如修补、着色、文本引导的语义编辑和图像超分辨率方面有明显的定性和定量改进，同时增加了可忽略的额外计算成本。

Sep, 2023

通过解缠分特征增强学习无偏表示

本研究提出了一种基于特征级数据增广技术的去偏方法，通过使培训数据多样化，可以更有效地消除图像分类模型中偏见的影响。

Jul, 2021

用受控潜在扩散模型修正心脏成像偏差

基于心脏磁共振成像的深度学习解决方案在疾病诊断和预后方面的进展受到高度不平衡和有偏训练数据的阻碍。为了解决这个问题，我们提出了一种通过基于敏感属性（如性别、年龄、体重指数和健康状况）生成合成数据来缓解数据集中固有的不平衡问题的方法。我们采用基于去噪扩散概率模型的 ControlNet，以从患者元数据组合的文本和从分割掩模中导出的心脏几何形状为条件，使用大群体研究（具体是英国生物库）进行训练。通过使用已建立的定量度量评估生成图像的真实性来评估我们的方法。此外，我们进行了一个下游分类任务，旨在通过模拟生成样本来纠正少数族群中的不平衡问题，从而消除分类器的偏见。我们的实验证明了所提方法在缓解数据集不平衡方面的有效性，例如缺乏年轻患者或正常 BMI 水平的心力衰竭患者。这项工作代表了采用合成数据开发公平且具有普适性的医学分类模型的重要一步。值得注意的是，我们的所有实验都是使用一块普通消费级 GPU 进行的，以突出我们在资源受限环境下的可行性。我们的代码可在此 https URL 中获得。

Mar, 2024

从扩散模型获取训练数据

本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

Jan, 2023

探索数据集偏差对数据集提炼的影响

利用数据集正规化技术 (Dataset Distillation, DD) 生成小规模的合成数据集，探究数据集偏倚对 DD 性能的影响并提出应对方法，实验证明原始数据集中的偏倚显著影响合成数据集的性能，突出了在 DD 过程中识别和减轻偏倚的必要性。

Mar, 2024