Dec, 2023

通过广义影响函数深入理解黑盒预测

PDF
TL;DR通过使用广义的影响函数进行参数分析，并采用鲁棒的逆 - Hessian - 向量积逼近方法解决计算不稳定性，我们提出了一种可在各种人工智能领域中用于模型分析的多功能工具。
influence functionslarge-scale modelsparameter analysisrobust inverse-hessian-vector product approximationmodel analysis
发现论文，激发创造
  • 影响函数的理论和实践视角

    通过理论分析和实验测试，我们发现影响函数在现代深度神经网络中存在参数发散的局限性，但仍可用于模型调试和纠正误预测。

    May, 2023

  • 通过影响函数理解黑盒预测

    本文提出使用影响函数技术来追踪黑盒模型预测的训练数据，并且证明了即使在非凸和不可导的模型中，影响函数的近似也可以提供有价值的信息。在线性模型和卷积神经网络中，通过使用影响函数，探究了模型行为、调试模型、检测数据集错误以及创建视觉上难以区分的训练集攻击等多个方面得到了实际的解决方案。

    Mar, 2017

  • 深度学习中的影响函数非常脆弱

    本文举行了一项大规模实证研究，详细探究了影响函数在神经网络模型中的成功和失败，在浅层网络中影响估计值相对准确，在深层网络中影响估计值通常是错误的，特定的神经网络结构和数据集，训练时使用重量减退正规化很重要以获得高质量的影响估计。

    Jun, 2020

  • 对超参数区间中神经网络的影响函数的重新思考

    本文利用神经切线核理论计算对于带拉格朗日正则化均方损失训练的神经网络的影响函数。通过理论分析，证明了在 ReLU 网络的两个层的宽度足够大时，误差可以任意小。此外，案例分析了 IHVP 方法在过度参数化区域的误差限制及其相关性。实验结果验证了理论分析的正确性。

    Dec, 2021

  • 利用影响函数研究大型语言模型的泛化能力

    影响函数为我们研究 LLMs 的泛化特性提供了强大的新工具，通过使用 EK-FAC 逼近和算法技术来扩展影响函数，我们能够高效地获得有关机器学习模型中关键训练示例的见解，并揭示出泛化模式的稀疏性、尺度的增加和关键短语顺序翻转的限制.

    Aug, 2023

  • 基于类别的影响函数用于错误检测

    本文研究了影响函数在深度网络中不稳定的问题，并提出了一种基于类别信息的解决方案，经过大量实验表明我们的修改不仅显著提高了影响函数的性能和稳定性，而且不会带来额外的计算成本。

    May, 2023

  • FastIF：面向高效模型解释和调试的可扩展影响函数

    通过引入 k - 最近邻算法、快速并行变量和逆 Hessian 向量积的配置，在不牺牲性能的情况下大大提高了影响函数的运行时间，从而为模型解释和纠正模型错误等领域提供了潜力。

    Dec, 2020

  • 影像化沟通和直觉教学：影响函数

    通过与梯度、线性逼近和牛顿 - 拉弗森方法的连接，提供影响函数估计器何时如何优于标准 “插入式” 估计器的具体、视觉化示例。

    Oct, 2018

  • 关于黑盒预测的二阶群影响函数

    本文探讨了二阶影响函数的概念，提出使用二阶影响函数来识别测试预测中有影响的训练样本组，特别是在涉及较大的训练样本集合时，相较于现有的一阶影响函数有更为显著的提高，增强了影响值与实际值之间的相关性。同时展示了如何利用优化技术来选择最具影响力的训练样本组。

    Nov, 2019

  • 重新审视影响函数的脆弱性

    通过验证和放松传统的凸性假设条件，并使用更深的模型和更复杂的数据集，我们研究了影响力函数的脆弱性，并分析了验证方法可能引起脆弱性的原因。

    Mar, 2023