May, 2019

关于利用影响力函数测量群体效应准确性的研究

PDF
TL;DR本文研究影响函数在大规模数据集下的准确性，并发现对于大多数数据集，影响函数的预测效果与实际效果存在显著相关性，尽管可能存在较大的误差。
influence functionstraining pointslarge groupsdata sourcesreal-world datasets
发现论文，激发创造
  • 关于黑盒预测的二阶群影响函数

    本文探讨了二阶影响函数的概念，提出使用二阶影响函数来识别测试预测中有影响的训练样本组，特别是在涉及较大的训练样本集合时，相较于现有的一阶影响函数有更为显著的提高，增强了影响值与实际值之间的相关性。同时展示了如何利用优化技术来选择最具影响力的训练样本组。

    Nov, 2019

  • 深度学习中的影响函数非常脆弱

    本文举行了一项大规模实证研究，详细探究了影响函数在神经网络模型中的成功和失败，在浅层网络中影响估计值相对准确，在深层网络中影响估计值通常是错误的，特定的神经网络结构和数据集，训练时使用重量减退正规化很重要以获得高质量的影响估计。

    Jun, 2020

  • 通过影响函数理解黑盒预测

    本文提出使用影响函数技术来追踪黑盒模型预测的训练数据，并且证明了即使在非凸和不可导的模型中，影响函数的近似也可以提供有价值的信息。在线性模型和卷积神经网络中，通过使用影响函数，探究了模型行为、调试模型、检测数据集错误以及创建视觉上难以区分的训练集攻击等多个方面得到了实际的解决方案。

    Mar, 2017

  • 论影响函数、分类影响、相对影响、记忆和泛化

    本文从化简计算的角度研究影响函数，讨论了少量参数下实现影响计算的假设，并证明影响值的符号可以指示训练点是记忆还是泛化，结果表明，即使是大规模的机器学习系统，影响函数也是可操作的，并且可以通过选择性地删除培训点来计算影响值，作为学习过程的一部分。

    May, 2023

  • 利用影响函数研究大型语言模型的泛化能力

    影响函数为我们研究 LLMs 的泛化特性提供了强大的新工具，通过使用 EK-FAC 逼近和算法技术来扩展影响函数，我们能够高效地获得有关机器学习模型中关键训练示例的见解，并揭示出泛化模式的稀疏性、尺度的增加和关键短语顺序翻转的限制.

    Aug, 2023

  • 影响函数的理论和实践视角

    通过理论分析和实验测试，我们发现影响函数在现代深度神经网络中存在参数发散的局限性，但仍可用于模型调试和纠正误预测。

    May, 2023

  • 重新审视影响函数的脆弱性

    通过验证和放松传统的凸性假设条件，并使用更深的模型和更复杂的数据集，我们研究了影响力函数的脆弱性，并分析了验证方法可能引起脆弱性的原因。

    Mar, 2023

  • 基于高效影响函数的统计学习揭秘

    本文介绍了如何利用 efficient influence function 来构建基于统计 / 机器学习的 estimators，并讨论了这些 estimators 表现良好的前提条件。

    Jul, 2021

  • 通过谐波分析理解影响函数和数据模型

    本文介绍了数据点对于模型预测的影响函数以及一种线性回归方法 datamodels 来预测训练点对测试数据输出的影响，并提供了更好的理论理解，主要工具是谐波分析和噪声稳定性。

    Oct, 2022

  • 通过广义影响函数深入理解黑盒预测

    通过使用广义的影响函数进行参数分析，并采用鲁棒的逆 - Hessian - 向量积逼近方法解决计算不稳定性，我们提出了一种可在各种人工智能领域中用于模型分析的多功能工具。

    Dec, 2023