May, 2024
重审，扩展和增强无 Hessian 函数的影响
Revisit, Extend, and Enhance Hessian-Free Influence Functions
Ziao Yang, Han Yue, Jian Chen, Hongfu Liu
TL;DR借助第一阶泰勒展开，影响函数可以估计样本对模型的影响力，无需进行昂贵的模型重新训练；本文通过探索矩阵分解等方法加快和近似海森矩阵的求逆过程，将影响函数应用于深度模型，并提出了一种称为 TracIn 的简单逼近方法，该方法通过将海森矩阵的逆替换为单位矩阵，不仅性能良好，还将应用拓展到模型公平性和鲁棒性领域，并通过集成策略改进了 TracIn 的效果；通过在合成数据上进行实验以及深入评估噪声标签检测、大型语言模型微调的样本选择和对抗攻击防御等方面验证了其有效性。