通过影响函数理解黑盒预测

Mar, 2017

Understanding Black-box Predictions via Influence Functions

Pang Wei Koh, Percy Liang

TL;DR本文提出使用影响函数技术来追踪黑盒模型预测的训练数据，并且证明了即使在非凸和不可导的模型中，影响函数的近似也可以提供有价值的信息。在线性模型和卷积神经网络中，通过使用影响函数，探究了模型行为、调试模型、检测数据集错误以及创建视觉上难以区分的训练集攻击等多个方面得到了实际的解决方案。

Abstract

How can we explain the predictions of a black-box model? In this paper, we use influence functions -- a classic technique from robust statistics -- to trace a model's prediction through the learning algorithm and

black-box model influence functions machine learning model behavior training-set attacks

发现论文，激发创造

深度学习中的影响函数非常脆弱

本文举行了一项大规模实证研究，详细探究了影响函数在神经网络模型中的成功和失败，在浅层网络中影响估计值相对准确，在深层网络中影响估计值通常是错误的，特定的神经网络结构和数据集，训练时使用重量减退正规化很重要以获得高质量的影响估计。

Jun, 2020

利用影响函数解释黑盒预测并揭示数据畸形

该研究探讨使用影响函数解释 NLP 模型的决策，并与基于词汇显著性的方法进行比较。该方法被发现特别适用于自然语言推理这样复杂的任务，并且还开发了一种基于影响函数的新的定量衡量方法，可以揭示训练数据中的人为制品。

May, 2020

通过广义影响函数深入理解黑盒预测

通过使用广义的影响函数进行参数分析，并采用鲁棒的逆 - Hessian - 向量积逼近方法解决计算不稳定性，我们提出了一种可在各种人工智能领域中用于模型分析的多功能工具。

Dec, 2023

关于黑盒预测的二阶群影响函数

本文探讨了二阶影响函数的概念，提出使用二阶影响函数来识别测试预测中有影响的训练样本组，特别是在涉及较大的训练样本集合时，相较于现有的一阶影响函数有更为显著的提高，增强了影响值与实际值之间的相关性。同时展示了如何利用优化技术来选择最具影响力的训练样本组。

Nov, 2019

利用影响函数研究大型语言模型的泛化能力

影响函数为我们研究 LLMs 的泛化特性提供了强大的新工具，通过使用 EK-FAC 逼近和算法技术来扩展影响函数，我们能够高效地获得有关机器学习模型中关键训练示例的见解，并揭示出泛化模式的稀疏性、尺度的增加和关键短语顺序翻转的限制.

Aug, 2023

影响函数的理论和实践视角

通过理论分析和实验测试，我们发现影响函数在现代深度神经网络中存在参数发散的局限性，但仍可用于模型调试和纠正误预测。

May, 2023

重新审视影响函数的脆弱性

通过验证和放松传统的凸性假设条件，并使用更深的模型和更复杂的数据集，我们研究了影响力函数的脆弱性，并分析了验证方法可能引起脆弱性的原因。

Mar, 2023

重审，扩展和增强无 Hessian 函数的影响

借助第一阶泰勒展开，影响函数可以估计样本对模型的影响力，无需进行昂贵的模型重新训练；本文通过探索矩阵分解等方法加快和近似海森矩阵的求逆过程，将影响函数应用于深度模型，并提出了一种称为 TracIn 的简单逼近方法，该方法通过将海森矩阵的逆替换为单位矩阵，不仅性能良好，还将应用拓展到模型公平性和鲁棒性领域，并通过集成策略改进了 TracIn 的效果；通过在合成数据上进行实验以及深入评估噪声标签检测、大型语言模型微调的样本选择和对抗攻击防御等方面验证了其有效性。

May, 2024

异常梯度分析：通过无 Hessian 影响函数高效提升深度学习模型性能

在数据中心学习的经典情境下，通过分析和解决模型上的凸性假设和计算逆 Hessian 矩阵的计算成本的限制，建立了通过影响函数和异常梯度检测来识别有害训练样本的等价转换，从而扩展了影响函数的适用性，使其能够应用于非凸深度模型，并通过系统性实证评估验证了这一方法在不同任务中的有效性。

May, 2024

InfFeed: 以影响函数作为反馈来提高主观任务的性能

使用影响函数改进深度神经模型的性能并自动识别需要手动校正的数据点来提高模型性能，达到减少手动标注数据点数量的效果。

Feb, 2024