Feb, 2018

使用正则化 Riesz Representers 进行全局和局部参数的去偏置机器学习

PDF
TL;DR该论文提供了适应性推断方法，基于 $\ell_1$ 正则化，适用于条件期望函数的常规（半参数）和非常规（非参数）线性泛函，其中包括平均处理效应、政策效应和导数等，并引入瑞叶斯回归器作为附加的干扰参数来构建目标参数的内曼正交方程。它的分析结果是弱双稀疏稳健性，可实现对大量模型的渐近均匀有效性，并为全局和局部参数提供了诚实的置信区间。
发现论文，激发创造
  • RieszNet 和 ForestRiesz: 使用神经网络和随机森林实现自动去偏置的机器学习

    通过神经网络和随机森林自动学习线性函数的 Riesz 表示，实现自动去偏并提高估计方法的精度，即使是针对高维或非参数回归函数。并且该方法对任意函数都有效，尤其在估计平均治疗效应功能上表现良好。

    Oct, 2021

  • 对手估计的 Riesz 代表的估计

    本文提出了一种对任意函数空间中的线性泛函进行 Riesz 表征的对抗性方法，证明了基于函数空间局部化 Rademacher 复杂度和逼近误差的预测界，在许多感兴趣的函数空间（如高维稀疏线性函数、神经网络和再生核希尔伯特空间）上将快速获得有限样本均方误差率，并展示了如何使用这种方法进行半参数模型结构 / 因果参数去偏、自动正交矩方程以及在资产定价中估算随机折现因子的应用。

    Dec, 2020

  • 非参数线性特征学习与回归正则化

    利用非参数预测的线性特征学习方法 RegFeaL，同时估计预测函数和线性子空间，经过实验证实其在不同实验中的表现。

    Jul, 2023

  • 具有可分解正则化项的 M - 估计高维分析 Unified 框架

    这篇论文提供了一个统一的框架，以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度，指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性，这些特性在许多经典案例中也是最优的

    Oct, 2010

  • 带正则化最小二乘的分布式学习

    使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

    Aug, 2016

  • 深度神经网络的表示定理

    通过引入功能规则化到损失函数中，基于二阶总变差准则，提出了一种可以用于通信、编码和学习的深度神经网络优化方法；同时，通过使用自适应节点的非均匀线性样条，可以实现每个神经元的动作编码。

    Feb, 2018

  • 规范化高维模型的表示点选择

    本研究提出了一种名为高维表现者的新型基于样本的解释方法，可用于解释正则化高维模型的预测结果；同时也进一步研究了低秩模型在协作过滤中的应用，并对三个二分类数据集和两个推荐系统数据集的实证表现进行了研究。

    May, 2023

  • 多维函数数据的低秩协方差函数估计

    本文提出了一种新颖的在再生核希尔伯特空间（RKHS）框架下处理稀疏和稠密函数数据的非参数协方差函数估计方法，该方法可以灵活地对协方差算子和边际结构进行建模，并且可以保证生成的估计量自动具有半正定特性，并且可以融入各种光谱正则化。 Trace- norm 正则化可以促进协方差算子和边际结构的低秩，并且虽然缺乏闭合形式，但在温和的假设下，提出的估计量可以实现统一的理论结果，其收敛速度揭示了从稀疏到密集的函数数据的相变现象。 基于新的代表定理，开发了 ADMM 算法来实现 Trace- norm 正则化。 通过模拟研究和来自 Argo 项目的数据集分析，展示了所提出估计器的优异数值表现。

    Aug, 2020

  • 非参数稀疏性和正则化

    研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

    Aug, 2012

  • 局部健壮半参数估计

    提出了一种局部鲁棒正交矩函数的构造方法，用于 GMM 的非参数或高维度的第一步估计，并表明可通过添加非参数影响函数建立正交矩函数以及用于估计未知函数的一般方法。同时给出了一些新的双重鲁棒矩方程，并应用于高维回归分位数和动态离散选择参数函数估计上的渐近推断。

    Jul, 2016