CVPRApr, 2024

逆梯度匹配的精简数据模型

PDF
TL;DR通过在线和离线阶段，我们提出了一种高效的框架，评估训练数据对目标模型的影响，通过反向梯度匹配问题建立了一个精简同义词集，用于加速离开一个样本的过程，并计算评估目标基于的归因矩阵。实验证明，相比直接重新训练方法，我们的方法在实现了可比较的模型行为评估的同时，显著加快了过程。
发现论文，激发创造
  • 用于实际应用中监控和重新训练语言模型的框架

    机器学习模型的持续监控和重新训练对于实现多标签分类模型的关键因素和资源利用至关重要。

    Nov, 2023

  • 遗忘揭示了语言模型的重要训练数据

    利用 UnTrac 方法，通过梯度上升来衡量训练数据集对模型输出的影响，在不需要额外大内存空间或多个模型检查点的情况下，能更准确地估计预训练数据集对生成有毒内容的影响。

    Jan, 2024

  • 扩散模型的训练数据归因

    使用编码集合的互补模型来评定如何影响扩散模型的输出，可提高模型可解释性，检验训练数据对于模型输出的影响，并作为生成模型

    Jun, 2023

  • 镜像影响假设：通过利用前向传递实现高效数据影响估计

    本文介绍了大规模黑盒模型、影响估计技术、镜像影响假设、训练数据影响评估方法及影响评估的效率改进。

    Feb, 2024

  • DeltaGrad：机器学习模型快速微调

    提出了 DeltaGrad 算法，用于快速重新训练基于训练阶段缓存信息的机器学习模型，以解决由于稍微更改数据集引起的代价昂贵的重新训练问题，以实现隐私性、稳健性、偏见减少和不确定性量化等多种应用，并得到了理论和实证支持，与现有技术相比效果优越。

    Jun, 2020

  • 纠正机器遗忘

    机器学习模型面对大规模互联网数据集引起的数据完整性挑战，本研究探讨在检测到数据被篡改或错误时模型开发者能够做出的应对措施。我们将 “修正机器遗忘” 定义为解决训练模型中受未知篡改影响数据的问题，尽管只能知道受影响样本的一个小部分。我们发现修正遗忘问题与传统的注重隐私的遗忘方法有显著不同的要求。我们希望我们的工作能促进对修正遗忘方法的研究，为处理来自于大规模网络训练带来的数据完整性挑战的从业者提供新的策略。

    Feb, 2024

  • 图像机器学习数据漂移控制的数据模型

    本研究结合传统机器学习和光学物理学，构建显式且可微分的数据模型，用于控制下游机器学习模型性能与数据漂移相关性，进而进行数据环境的精密规定和优化。

    Nov, 2022

  • 通过贝叶斯数据选择实现模型训练加速

    使用轻量级贝叶斯处理和基于大规模预训练模型的即用型零样本预测器，解决了现实场景中标记错误、重复或有偏差的数据在训练中的问题，提高了模型的训练效率。

    Aug, 2023

  • 数据反馈环路：基于模型驱动的数据集偏差放大

    本文旨在通过记录模型与数据的交互过程，以改善未来爬取的 Internet 数据集的信息稳定性。我们发现模型输出表现为源自训练集的样本具有一致性校准时，偏见放大的程度与模型预测的性别偏差等测试时偏差统计显著相关，如果同时在三个条件预测场景中使用，能更好的校准和稳固反馈系统。

    Sep, 2022

  • 通过与平滑高质量专家轨迹的对齐实现高效的数据集精炼

    本文提出了一种数据集蒸馏的方法，通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率，并提出代表性初始化、均衡内环损失和权重摄动等增强策略，以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明，该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。

    Oct, 2023