镜像影响假设:通过利用前向传递实现高效数据影响估计
通过在线和离线阶段,我们提出了一种高效的框架,评估训练数据对目标模型的影响,通过反向梯度匹配问题建立了一个精简同义词集,用于加速离开一个样本的过程,并计算评估目标基于的归因矩阵。实验证明,相比直接重新训练方法,我们的方法在实现了可比较的模型行为评估的同时,显著加快了过程。
Apr, 2024
本研究介绍了一种基于替代建模的后续数据归因方法 DualView,它在计算效率和评估结果方面表现良好。通过使用适合的定量评估策略和相关的局部数据归因方法,我们发现 DualView 方法在需要较低计算资源的同时,表现不亚于其他方法。此外,该方法产生稀疏的解释,可以通过超参数进行调整。最后,我们展示了 DualView 可以将局部数据归因的解释与已有的局部特征归因方法兼容,并提供了在线的开源实现,以及与其他局部数据归因方法和此处报告的度量标准的实现,以便进行完全可复现性研究。
Feb, 2024
本文提出使用影响函数技术来追踪黑盒模型预测的训练数据,并且证明了即使在非凸和不可导的模型中,影响函数的近似也可以提供有价值的信息。在线性模型和卷积神经网络中,通过使用影响函数,探究了模型行为、调试模型、检测数据集错误以及创建视觉上难以区分的训练集攻击等多个方面得到了实际的解决方案。
Mar, 2017
Diffusion-TracIn 和 Diffusion-ReTrac 方法针对扩散模型的时间动态性进行了研究,通过重新归一化适应性,以减少普遍具有影响力的样本数量,从而提供了更直观的可视化,并通过各种评估指标和辅助任务证明了方法的有效性。
Jan, 2024
本论文提出基于 Arnoldi 迭代方法的反 Hessian 矩阵计算,实现了首个能够扩展到拥有几亿参数的 Transformer 模型的成功影响函数实现,适用于图像分类和序列 - 序列任务。
Dec, 2021
在数据中心学习的经典情境下,通过分析和解决模型上的凸性假设和计算逆 Hessian 矩阵的计算成本的限制,建立了通过影响函数和异常梯度检测来识别有害训练样本的等价转换,从而扩展了影响函数的适用性,使其能够应用于非凸深度模型,并通过系统性实证评估验证了这一方法在不同任务中的有效性。
May, 2024
我们提出了 DataInf,一种高效的影响力近似计算方法,可用于大规模生成型 AI 模型。通过利用易于计算的闭合形式表达式,DataInf 在计算和内存效率方面优于现有的影响力计算算法。我们的理论分析表明,DataInf 特别适用于 LoRA 等参数效率高的微调技术。通过系统的实证评估,我们表明 DataInf 准确地近似了影响力分数,并且比现有方法快几个数量级。在 RoBERTa-large、Llama-2-13B-chat 和 stable-diffusion-v1.5 模型的应用中,DataInf 能够比其他近似影响力分数更好地识别出影响最大的微调示例,而且可以帮助识别出错误标记的数据点。
Oct, 2023
通过使用广义的影响函数进行参数分析,并采用鲁棒的逆 - Hessian - 向量积逼近方法解决计算不稳定性,我们提出了一种可在各种人工智能领域中用于模型分析的多功能工具。
Dec, 2023
我们介绍了一种名为 TracIn 的方法,该方法通过跟踪训练示例对模型预测的影响来计算模型的影响。与以前提出的方法相比,TracIn 简单易实现,适用于任何使用随机梯度下降或其变体训练的机器学习模型,且可广泛应用于研究和改进训练数据的过程。
Feb, 2020