影响函数的扩张
借助第一阶泰勒展开,影响函数可以估计样本对模型的影响力,无需进行昂贵的模型重新训练;本文通过探索矩阵分解等方法加快和近似海森矩阵的求逆过程,将影响函数应用于深度模型,并提出了一种称为 TracIn 的简单逼近方法,该方法通过将海森矩阵的逆替换为单位矩阵,不仅性能良好,还将应用拓展到模型公平性和鲁棒性领域,并通过集成策略改进了 TracIn 的效果;通过在合成数据上进行实验以及深入评估噪声标签检测、大型语言模型微调的样本选择和对抗攻击防御等方面验证了其有效性。
May, 2024
在数据中心学习的经典情境下,通过分析和解决模型上的凸性假设和计算逆 Hessian 矩阵的计算成本的限制,建立了通过影响函数和异常梯度检测来识别有害训练样本的等价转换,从而扩展了影响函数的适用性,使其能够应用于非凸深度模型,并通过系统性实证评估验证了这一方法在不同任务中的有效性。
May, 2024
本文提出使用影响函数技术来追踪黑盒模型预测的训练数据,并且证明了即使在非凸和不可导的模型中,影响函数的近似也可以提供有价值的信息。在线性模型和卷积神经网络中,通过使用影响函数,探究了模型行为、调试模型、检测数据集错误以及创建视觉上难以区分的训练集攻击等多个方面得到了实际的解决方案。
Mar, 2017
影响函数为我们研究 LLMs 的泛化特性提供了强大的新工具,通过使用 EK-FAC 逼近和算法技术来扩展影响函数,我们能够高效地获得有关机器学习模型中关键训练示例的见解,并揭示出泛化模式的稀疏性、尺度的增加和关键短语顺序翻转的限制.
Aug, 2023
通过使用广义的影响函数进行参数分析,并采用鲁棒的逆 - Hessian - 向量积逼近方法解决计算不稳定性,我们提出了一种可在各种人工智能领域中用于模型分析的多功能工具。
Dec, 2023
通过引入 k - 最近邻算法、快速并行变量和逆 Hessian 向量积的配置,在不牺牲性能的情况下大大提高了影响函数的运行时间,从而为模型解释和纠正模型错误等领域提供了潜力。
Dec, 2020
本文举行了一项大规模实证研究,详细探究了影响函数在神经网络模型中的成功和失败,在浅层网络中影响估计值相对准确,在深层网络中影响估计值通常是错误的,特定的神经网络结构和数据集,训练时使用重量减退正规化很重要以获得高质量的影响估计。
Jun, 2020
使用梯度优化算法,利用隐函数定理及反向黑塞矩阵逼近来提高超参数优化的效率,成功应用于训练超大规模网络架构,例如数据增强网络,整个过程只比标准训练多花费少量内存与计算资源。
Nov, 2019