ICMLOct, 2021

RieszNet 和 ForestRiesz: 使用神经网络和随机森林实现自动去偏置的机器学习

PDF
TL;DR通过神经网络和随机森林自动学习线性函数的 Riesz 表示，实现自动去偏并提高估计方法的精度，即使是针对高维或非参数回归函数。并且该方法对任意函数都有效，尤其在估计平均治疗效应功能上表现良好。
发现论文，激发创造
  • 使用正则化 Riesz Representers 进行全局和局部参数的去偏置机器学习

    该论文提供了适应性推断方法，基于 $\ell_1$ 正则化，适用于条件期望函数的常规（半参数）和非常规（非参数）线性泛函，其中包括平均处理效应、政策效应和导数等，并引入瑞叶斯回归器作为附加的干扰参数来构建目标参数的内曼正交方程。它的分析结果是弱双稀疏稳健性，可实现对大量模型的渐近均匀有效性，并为全局和局部参数提供了诚实的置信区间。

    Feb, 2018

  • 因果和结构效应的自动去偏机器学习

    本文利用机器学习进行自动去偏差，得出了高维回归的线性和非线性函数。不仅提供去偏差的标准误差，还给出了一系列的结构性和因果效应的估计量。应用于具体数据上得出了对待处理者的平均处理效应，以及 Nielsen 扫描仪数据中有价格和收入相关性的需求弹性。

    Sep, 2018

  • 基于高效影响函数的统计学习揭秘

    本文介绍了如何利用 efficient influence function 来构建基于统计 / 机器学习的 estimators，并讨论了这些 estimators 表现良好的前提条件。

    Jul, 2021

  • 对手估计的 Riesz 代表的估计

    本文提出了一种对任意函数空间中的线性泛函进行 Riesz 表征的对抗性方法，证明了基于函数空间局部化 Rademacher 复杂度和逼近误差的预测界，在许多感兴趣的函数空间（如高维稀疏线性函数、神经网络和再生核希尔伯特空间）上将快速获得有限样本均方误差率，并展示了如何使用这种方法进行半参数模型结构 / 因果参数去偏、自动正交矩方程以及在资产定价中估算随机折现因子的应用。

    Dec, 2020

  • 具有连续处理的双无偏机器学习非参数推断

    本文提出了一种基于双无偏机器学习 (DML) 的非参数推断方法，用于连续治疗变量的因果效应估计，同时解决了无遗漏条件和非参数 / 高维麻烦参数的问题，并通过利用基于核的双重稳健矩函数和交叉拟合提供了高级条件，以实现估计的无偏性。

    Apr, 2020

  • 广义随机森林

    该研究提出了广义随机森林方法，用于基于随机森林进行非参数统计估计，可以用于拟合任何被识别为满足一组局部矩方程的解的感兴趣数量，提出了一种灵活且计算有效的算法以及新的非参数回归，条件平均偏差估计和异质性治疗效应估计方法，通过本研究可用 GRF 软件实现。

    Oct, 2016

  • 高维下近似残差平衡：无偏基础下的平均处理效应推断

    本文提出了一种修正方法，使得套索法等稀疏回归方法可以用于高维线性模型的 sqrt {n}- 一致推断，而无需额外假设述评分数的可估计性，仅需要假设存在交集，即积分比例得分从 0 和 1 足够远。

    Apr, 2016

  • 神经随机森林

    将随机回归树方法改成了一个新的神经网络模型，称为神经随机森林。 基于随机回归树的架构利用了先验知识并具有更少的参数，较少的限制设计决策路径和优秀的表现使得方法可用于多样的预测问题。

    Apr, 2016

  • 定量磁共振成像参数估计的无偏神经网络

    通过训练具有最小偏差且方差接近理论最小值的神经网络，本论文研究了两个定量神经成像应用中所得到的神经网络的偏差和方差特性，提出的策略在仿真中显著降低了估计的偏差，接近 Cramér-Rao 边界，而在活体实验中与传统估计器相比具有良好的一致性。

    Nov, 2023

  • 推荐作为治疗方案：去偏见化学习和评估

    该研究提供了一种使用因果推论来处理选择偏差的方法，可实现对推荐系统的评估和训练，并获得实际数据上显着改善的预测效果。

    Feb, 2016