半参数估计量的影响函数
本文介绍了如何利用 efficient influence function 来构建基于统计 / 机器学习的 estimators,并讨论了这些 estimators 表现良好的前提条件。
Jul, 2021
本文提出新的 HOIF 估计器,其具有与 Robins et al.(2008,2016)估计器相同的渐近性质,但不需要估计高维密度,适用于缺失数据和连续协变量的情况。
May, 2017
影响函数为我们研究 LLMs 的泛化特性提供了强大的新工具,通过使用 EK-FAC 逼近和算法技术来扩展影响函数,我们能够高效地获得有关机器学习模型中关键训练示例的见解,并揭示出泛化模式的稀疏性、尺度的增加和关键短语顺序翻转的限制.
Aug, 2023
提出了一种局部鲁棒正交矩函数的构造方法,用于 GMM 的非参数或高维度的第一步估计,并表明可通过添加非参数影响函数建立正交矩函数以及用于估计未知函数的一般方法。同时给出了一些新的双重鲁棒矩方程,并应用于高维回归分位数和动态离散选择参数函数估计上的渐近推断。
Jul, 2016
本文综合说明了在半参数模型和非参数模型推断中,高阶影响函数的理论及其应用。我们探讨了如何推导出一组功能对应的乘积的高阶影响函数,应用这个结果我们获得了在随机缺失和单调缺失情况下响应变量 Y 的均值和时变混杂变量存在时,时间相关性处理对 Y 的因果效应的高阶影响函数和相应的估计量。此外,文中还包含了一些在 Robins 等人的文章中未列出的结果和证明。
Jan, 2016
本文举行了一项大规模实证研究,详细探究了影响函数在神经网络模型中的成功和失败,在浅层网络中影响估计值相对准确,在深层网络中影响估计值通常是错误的,特定的神经网络结构和数据集,训练时使用重量减退正规化很重要以获得高质量的影响估计。
Jun, 2020
本文介绍了一种基于非参数估计的选择模型,该模型使用神经网络逼近各种现有选择模型,并扩展到包括对内生特征的估计,同时介绍了一种有效的置信区间构建方法,使用真实数据进行了实证分析,并验证了其在实际应用中的可行性。
Jul, 2023
本文提出使用影响函数技术来追踪黑盒模型预测的训练数据,并且证明了即使在非凸和不可导的模型中,影响函数的近似也可以提供有价值的信息。在线性模型和卷积神经网络中,通过使用影响函数,探究了模型行为、调试模型、检测数据集错误以及创建视觉上难以区分的训练集攻击等多个方面得到了实际的解决方案。
Mar, 2017