扩散模型的数据归因：时间步引起的对影响估计的偏差

Jan, 2024

扩散模型的数据归因：时间步引起的对影响估计的偏差

Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation

Tong Xie, Haoyu Li, Andrew Bai, Cho-Jui Hsieh

TL;DRDiffusion-TracIn 和 Diffusion-ReTrac 方法针对扩散模型的时间动态性进行了研究，通过重新归一化适应性，以减少普遍具有影响力的样本数量，从而提供了更直观的可视化，并通过各种评估指标和辅助任务证明了方法的有效性。

Abstract

data attribution methods trace model behavior back to its training dataset, offering an effective approach to better understand ``black-box'' neural networks. While prior research has established quantifiable links between model output and training data in diverse settings, interpretin

data attribution methods diffusion models loss gradient norms influence estimation localized measurement of influence

发现论文，激发创造

扩散模型的训练数据归因

使用编码集合的互补模型来评定如何影响扩散模型的输出，可提高模型可解释性，检验训练数据对于模型输出的影响，并作为生成模型

Jun, 2023

数据引导扩散模型的旅途

通过扩散模型对大型数据集进行训练可以合成具有出色质量和多样性的照片级真实图像。然而，将这些图像归因于训练数据 - 即确定导致生成图像的具体训练示例 - 仍然是一项挑战。在本文中，我们提出了一个框架，（i）在扩散模型的上下文中提供了数据归因的形式概念，并（ii）允许我们反事实地验证这些归因。然后，我们提供了一种高效计算这些归因的方法。最后，我们将该方法应用于发现（和评估）在 CIFAR-10 上训练的去噪扩散概率模型及在 MS COCO 上训练的潜在扩散模型的这些归因。我们在这个 URL 提供了代码。

Dec, 2023

扩散模型数据归因的有趣特性

数据归因通过追溯模型输出至训练数据，以便为高质量或受版权保护的训练样本进行正确的归属评估，确保数据贡献者得到公正的补偿或认可。本研究在扩散模型上进行了广泛的实验和消融研究，特别关注 DDPMs 在 CIFAR-10、CelebA 以及在 ArtBench 上经过 LoRA 微调的稳定扩散模型的归因问题。有趣的是，我们报告了一些违背直觉的观察结果，即在理论上没有依据的设计选择在实践中表现出比以往基准线更好的性能，无论是线性数据建模得分还是对事实的评估。我们提出了一种更高效的方法来为扩散模型进行归因，而意外的发现表明，至少在非凸设置中，受到理论假设指导的构建可能导致较差的归因性能。该文提供了代码链接供参考。

Nov, 2023

网络推理和影响估计的可扩展连续时间扩散框架

我们通过将扩散过程视为连续时间动力系统，建立了一个连续时间扩散模型，以此来推断潜在的网络结构，并且通过高级抽样技术提高了影响力估计的可扩展性，FIM 在网络推断和影响力估计方面具有显著的效果和优越的可扩展性。

Mar, 2024

基于偏倚数据集训练无偏离散模型

本文提出了一种时间相关的重要性重新加权方法来减轻扩散模型中的数据集偏差，并证明了时间相关密度比方法相较于之前的方法更准确，从而在生成学习中最小化误差传播。通过将时间相关密度比用于重新加权和得分校正，可以获得一个可行的目标函数来重建无偏数据密度。此外，本文理论上建立了与传统得分匹配的联系，并证明了其收敛于无偏分布。实验证据支持了该方法的有效性，它在包括 CIFAR-10、CIFAR-100、FFHQ 和 CelebA 在内的多种偏差设置下胜过了基线方法。

Mar, 2024

DYffusion: 基于动态信息的时空预测扩散模型

文章提出了一种新的 diffusion model 的训练方法，通过将数据中的时间动态信息直接耦合在网络的 diffusion steps 中，训练了一个 stochastic time-conditioner interpolator 和一个 backbone forecaster network，从而实现了多步和长距离的时序预测能力。实验结果表明该方法对于复杂的动态状态预测有较强的表现。

Jun, 2023

通过跟踪梯度下降来估计训练数据的影响

我们介绍了一种名为 TracIn 的方法，该方法通过跟踪训练示例对模型预测的影响来计算模型的影响。与以前提出的方法相比，TracIn 简单易实现，适用于任何使用随机梯度下降或其变体训练的机器学习模型，且可广泛应用于研究和改进训练数据的过程。

Feb, 2020

并非所有步骤相等：高效生成与渐进传播模型

提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

Dec, 2023

通过时移采样缓解扩散模型中的暴露偏差

本文研究了扩散模型中存在的曝光偏差，并提出了一种名为 Time-Shift Sampler 的推理方法，该方法可以在不重新训练模型的情况下缓解曝光偏差，并通过实验结果证明了其有效性。

May, 2023

关于扩散模型在合成训练数据集中的限制

通过分析真实样本复制过程中通过扩散和反向过程重建的合成样本，我们发现现代扩散模型不能完美地代表数据分布以用于训练鉴别性任务，这意味着合成数据集在分类性能上不如真实数据集。我们的研究结果表明，合成数据在增加反向步骤时集中于训练数据分布的模式，难以覆盖分布的外边缘，因此现代扩散模型在复制训练数据分布方面还有改进的空间。

Nov, 2023