图像数据归因的简单有效基础线

Nov, 2023

A Simple and Efficient Baseline for Data Attribution on Images

Vasu Singla, Pedro Sandoval-Segura, Micah Goldblum, Jonas Geiping, Tom Goldstein

TL;DR数据归因是理解机器学习模型的关键方法之一，我们提出了一种基于自监督学习预训练的最小化基线方法，对图像数据进行归因，这种方法计算成本低、内存占用少、易于扩展，且在 CIFAR-10 和 ImageNet 上实现了与现有方法相媲美甚至更好的性能。

Abstract

data attribution methods play a crucial role in understanding machine learning models, providing insight into which training data points are most responsible for model outputs during deployment. However, current state-of-the-art approaches require a large ensemble of as many as 300,000

data attribution methods machine learning models model predictions self-supervised learning data attribution on images

发现论文，激发创造

文本 - 图像模型的数据归因评估

通过调整现有大规模模型的方法进行数据归属性的评估，我们能够构建出受样例影响的合成图像数据集，并在此基础上评估多种数据归属算法及不同的特征空间。

Jun, 2023

关于本地特征归因基线的研究

研究表明，模型的 baseline 对于特征归因的重要性具有重大影响，因此建议针对表格数据提出合理的 baseline 方法，并介绍了新的基线方法分类方法。

Jan, 2021

扩散模型数据归因的有趣特性

数据归因通过追溯模型输出至训练数据，以便为高质量或受版权保护的训练样本进行正确的归属评估，确保数据贡献者得到公正的补偿或认可。本研究在扩散模型上进行了广泛的实验和消融研究，特别关注 DDPMs 在 CIFAR-10、CelebA 以及在 ArtBench 上经过 LoRA 微调的稳定扩散模型的归因问题。有趣的是，我们报告了一些违背直觉的观察结果，即在理论上没有依据的设计选择在实践中表现出比以往基准线更好的性能，无论是线性数据建模得分还是对事实的评估。我们提出了一种更高效的方法来为扩散模型进行归因，而意外的发现表明，至少在非凸设置中，受到理论假设指导的构建可能导致较差的归因性能。该文提供了代码链接供参考。

Nov, 2023

利用独立于模型的数据归因来减少偏见

通过利用像素图像属性来缩小机器学习模型中的偏见，本文提出了一种新方法，该方法利用卷积神经网络（CNN）分类器通过训练小图像块来提取像素属性，从而实现区域性属性，进而提供有关重要信息在图像中分布的洞察力。通过在偏倚数据集中引入有针对性的噪声，限制神经网络学习这些偏见并强调主要属性，我们的方法证明了在严重偏倚的数据集上训练无偏分类器的有效性。

May, 2024

通过取消合成图像对文本至图像模型进行数据归因

为了识别最具影响力的训练图像以生成新图像，我们提出了一种新的方法，通过模拟反学习合成图像、增加输出图像上的训练损失，并通过代理遗忘方式找出在反学习过程中具有显著损失偏差的训练图像，并将其标记为有影响力的图像。通过与从头开始重新训练的计算密集但 “黄金标准” 的方法进行评估，我们展示了我们的方法相比之前的方法的优势。

Jun, 2024

神经网络中将学习到的概念归因于训练数据

通过深度学习模型和数据归因方法，在多层网络上训练网络和探针集合，研究了概念形成的可靠性和内部表示中的人类可解释特征。

Oct, 2023

数据引导扩散模型的旅途

通过扩散模型对大型数据集进行训练可以合成具有出色质量和多样性的照片级真实图像。然而，将这些图像归因于训练数据 - 即确定导致生成图像的具体训练示例 - 仍然是一项挑战。在本文中，我们提出了一个框架，（i）在扩散模型的上下文中提供了数据归因的形式概念，并（ii）允许我们反事实地验证这些归因。然后，我们提供了一种高效计算这些归因的方法。最后，我们将该方法应用于发现（和评估）在 CIFAR-10 上训练的去噪扩散概率模型及在 MS COCO 上训练的潜在扩散模型的这些归因。我们在这个 URL 提供了代码。

Dec, 2023

限制信息流：用于归因的信息瓶颈

本研究使用信息瓶颈概念进行属性分析，通过添加噪声来限制信息流并量化图像区域提供的信息量，并在 VGG-16 和 ResNet-50 上对比了十种基线方法，发现我们的方法在五个设置中均优于所有基线。

Jan, 2020

结合特征和实例归因来检测伪影

本文提出了一种新的训练特征归因方法，通过结合显著性图和实例归因方法，可以有效地发现训练数据中的人工瑕疵，并在实验中取得了良好的结果。

Jul, 2021

时间关注：使用时间序列归因方法的全面基准测试

本文重点研究时间序列分析，对比了几种最先进的卷积分类器解释方法，发现扰动法是较优选项，但也强调选择最适合的归因方法与所需用例的选择密切相关。

Feb, 2022