Feb, 2024

使用蒙特卡洛高效影响函数进行自动高效估计

PDF
TL;DR该研究论文介绍了一种名为 Monte Carlo Efficient Influence Functions (MC-EIF) 的全自动技术，用于估计高维模型和数据集中的低维统计量，证明了其一致性，并且使用 MC-EIF 的估计器实现了最优的 N 的平方根收敛速率，通过实证研究表明 MC-EIF 与使用解析式影响函数的估计器是等价的，最后通过一个新颖的 MC-EIF 的案例演示了最优的投资组合选择。
发现论文，激发创造
  • 基于高效影响函数的统计学习揭秘

    本文介绍了如何利用 efficient influence function 来构建基于统计 / 机器学习的 estimators，并讨论了这些 estimators 表现良好的前提条件。

    Jul, 2021

  • 无限维模型中的计算效率估计

    该论文提出了一种数值方法来近似有效影响函数， 并以两个例子的背景说明了该方法。

    Aug, 2016

  • 影像化沟通和直觉教学：影响函数

    通过与梯度、线性逼近和牛顿 - 拉弗森方法的连接，提供影响函数估计器何时如何优于标准 “插入式” 估计器的具体、视觉化示例。

    Oct, 2018

  • 半参数高效经验高阶影响函数估计

    本文提出新的 HOIF 估计器，其具有与 Robins et al.（2008，2016）估计器相同的渐近性质，但不需要估计高维密度，适用于缺失数据和连续协变量的情况。

    May, 2017

  • 半参数估计量的影响函数

    本文研究非参数化的初步步骤对于许多有用参数的影响以及如何利用影响函数分析局部政策、构建机器学习估计器、进行效率比较和制定渐近正态的基本规则。研究发现影响函数是一个门托导数，我们给出了满足外生或内生正交条件的初步步骤的影响函数。最后，这项研究应用在汽油需求的分析中，结果表明平均相当变动量的估计值对内生性不敏感。

    Aug, 2015

  • FastIF：面向高效模型解释和调试的可扩展影响函数

    通过引入 k - 最近邻算法、快速并行变量和逆 Hessian 向量积的配置，在不牺牲性能的情况下大大提高了影响函数的运行时间，从而为模型解释和纠正模型错误等领域提供了潜力。

    Dec, 2020

  • 深度学习中的影响函数非常脆弱

    本文举行了一项大规模实证研究，详细探究了影响函数在神经网络模型中的成功和失败，在浅层网络中影响估计值相对准确，在深层网络中影响估计值通常是错误的，特定的神经网络结构和数据集，训练时使用重量减退正规化很重要以获得高质量的影响估计。

    Jun, 2020

  • 利用影响函数研究大型语言模型的泛化能力

    影响函数为我们研究 LLMs 的泛化特性提供了强大的新工具，通过使用 EK-FAC 逼近和算法技术来扩展影响函数，我们能够高效地获得有关机器学习模型中关键训练示例的见解，并揭示出泛化模式的稀疏性、尺度的增加和关键短语顺序翻转的限制.

    Aug, 2023

  • 基于无偏 MLMC 随机梯度的贝叶斯实验设计优化

    该论文提出了一种高效的随机优化算法，通过引入随机多层次蒙特卡洛（MLMC）方法，使用无偏的蒙特卡罗估计器求解期望信息增益的梯度，该算法具有较高的性能，可以用于搜索最优的贝叶斯实验设计，适用于简单测试问题和现实药代动力学问题。

    May, 2020

  • 关于利用影响力函数测量群体效应准确性的研究

    本文研究影响函数在大规模数据集下的准确性，并发现对于大多数数据集，影响函数的预测效果与实际效果存在显著相关性，尽管可能存在较大的误差。

    May, 2019