Feb, 2020

通过跟踪梯度下降来估计训练数据的影响

PDF
TL;DR我们介绍了一种名为 TracIn 的方法，该方法通过跟踪训练示例对模型预测的影响来计算模型的影响。与以前提出的方法相比，TracIn 简单易实现，适用于任何使用随机梯度下降或其变体训练的机器学习模型，且可广泛应用于研究和改进训练数据的过程。
tracintraining processmachine learningloss functionsstochastic gradient descent
发现论文，激发创造
  • 基于梯度的自动迭代恢复方法用于参数高效调整

    本文利用 TracIn 方法改善了预训练大型语言模型在参数有效调整（PET）任务中的表现，通过 G-BAIR 方法进行梯度自动化迭代恢复，证明了类似 TracIn 的影响方法可以用于自动执行数据清理，并引入了交互式调试和重新标记 PET-based 转移学习方法的潜力。

    Feb, 2023

  • 扩散模型的数据归因：时间步引起的对影响估计的偏差

    Diffusion-TracIn 和 Diffusion-ReTrac 方法针对扩散模型的时间动态性进行了研究，通过重新归一化适应性，以减少普遍具有影响力的样本数量，从而提供了更直观的可视化，并通过各种评估指标和辅助任务证明了方法的有效性。

    Jan, 2024

  • 语言数据影响上，先驱胜于追随

    该研究针对 NLP 应用中大型模型在调试训练数据和解释模型行为时计算影响力的问题，提出了一种名为 TracIn-WE 的技术，该技术基于词嵌入层进行数据影响力分析，能够获得较高的影响力得分，可有效调试。

    Feb, 2022

  • 遗忘揭示了语言模型的重要训练数据

    利用 UnTrac 方法，通过梯度上升来衡量训练数据集对模型输出的影响，在不需要额外大内存空间或多个模型检查点的情况下，能更准确地估计预训练数据集对生成有毒内容的影响。

    Jan, 2024

  • 重审，扩展和增强无 Hessian 函数的影响

    借助第一阶泰勒展开，影响函数可以估计样本对模型的影响力，无需进行昂贵的模型重新训练；本文通过探索矩阵分解等方法加快和近似海森矩阵的求逆过程，将影响函数应用于深度模型，并提出了一种称为 TracIn 的简单逼近方法，该方法通过将海森矩阵的逆替换为单位矩阵，不仅性能良好，还将应用拓展到模型公平性和鲁棒性领域，并通过集成策略改进了 TracIn 的效果；通过在合成数据上进行实验以及深入评估噪声标签检测、大型语言模型微调的样本选择和对抗攻击防御等方面验证了其有效性。

    May, 2024

  • 学习轨迹是概括指标

    本文旨在探讨深度神经网络（DNNs）的学习轨迹与其在广泛使用的梯度下降和随机梯度下降算法优化时的相应泛化能力之间的关系。作者构建了线性逼近函数以建立轨迹信息模型，并基于其提出一种新的、基于更丰富轨迹信息的泛化界限。实验结果表明，所提出的方法能够有效地捕捉到不同训练步骤、学习率和标签噪声水平下的泛化趋势。

    Apr, 2023

  • DataInf: 在经过认证的 LLMs 和扩散模型中高效估计数据影响力

    我们提出了 DataInf，一种高效的影响力近似计算方法，可用于大规模生成型 AI 模型。通过利用易于计算的闭合形式表达式，DataInf 在计算和内存效率方面优于现有的影响力计算算法。我们的理论分析表明，DataInf 特别适用于 LoRA 等参数效率高的微调技术。通过系统的实证评估，我们表明 DataInf 准确地近似了影响力分数，并且比现有方法快几个数量级。在 RoBERTa-large、Llama-2-13B-chat 和 stable-diffusion-v1.5 模型的应用中，DataInf 能够比其他近似影响力分数更好地识别出影响最大的微调示例，而且可以帮助识别出错误标记的数据点。

    Oct, 2023

  • 镜像影响假设：通过利用前向传递实现高效数据影响估计

    本文介绍了大规模黑盒模型、影响估计技术、镜像影响假设、训练数据影响评估方法及影响评估的效率改进。

    Feb, 2024

  • 逆梯度匹配的精简数据模型

    通过在线和离线阶段，我们提出了一种高效的框架，评估训练数据对目标模型的影响，通过反向梯度匹配问题建立了一个精简同义词集，用于加速离开一个样本的过程，并计算评估目标基于的归因矩阵。实验证明，相比直接重新训练方法，我们的方法在实现了可比较的模型行为评估的同时，显著加快了过程。

    Apr, 2024

  • Simfluence：通过模拟训练运行来建模个别训练示例的影响

    提出了一种名为 Simfluence 的新方法，旨在通过训练运行模拟器而不是单独的影响得分来研究数据示例之间非线性相互作用。该方法能够预测大语言模型微调中的损失轨迹，并比现有 TDA 方法提高了预测准确性。

    Mar, 2023