MMOct, 2009

高维线性回归在 Lq - 球上的极小极大估计率

PDF
TL;DR本文研究了标准线性回归模型的极小极大收敛速度，证明在合适的设计矩阵正则化条件下，最小值误差在 $L_2$-，$L_{oldsymbol r}$- 损失和 $L_{oldsymbol 2}$- 预测损失内达到了收缩速度。同时，我们提供了 $L_{oldsymbol r}$- 范数的极小极大风险下限。
linear regressionloss functionminimax ratesestimationdesign matrix
发现论文，激发创造
  • 正则化与小球方法 II：复杂度相关的错误率

    研究基于正则化函数的凸函数估计的性质，给出 $L_2$ 估计误差速率的界限，包括 True Model 的复杂度，应用于不同的正则化函数，结果适用于学习理论框架。

    Aug, 2016

  • 线性最小二乘的确切极小极大风险及样本协方差矩阵的下尾

    通过研究新颖的偏尾分析技巧，我们在随机设计的线性预测和相关问题上考虑最小化期望风险。我们发现，当每个样本所代表的统计杠杆得分在高斯设计时是最小的。我们通过控制经验过程的 PAC-Bayes 技术扩展了 Oliveira 的分析。

    Dec, 2019

  • 高维非参数回归的极小极大优化

    在两个稀疏假设下，推导了高维非参数回归的最小 $L_2$ 风险；通过区分特征重要性和局部平滑度，将贝叶斯高斯过程回归方法扩展到稀疏加性模型，实现自适应最优的最小极值。

    Jan, 2014

  • 高维稀疏 PCA 估计的最小化率

    研究高维稀疏主成分分析，证明了所得最小值估计误差在限制条件下的上下限，给出了 $L_q$ 约束下主成分分析的性能分析，提供了 $L_1$- 约束下主成分分析的收敛速率。

    Feb, 2012

  • 毒化攻击下的鲁棒非参数回归

    本文研究了强健的非参数回归问题，提出了一种基于 Huber 损失最小化的 M 估计器解决方法，证明了该方法对于恶意样本的影响显著减弱，同时提出了一种通过将初始估计投影到 Lipschitz 函数空间以解决在小区域内攻击样本的问题的纠正方法，并给出了其收敛速度和相应的 minimax 下限。

    May, 2023

  • 适应性和最优在线 L1 - 球线性回归

    论文研究了在线线性回归的问题，提出了具有优秀回归边界并且具有高效算法的解决方案。

    May, 2011

  • 经验熵、最小化后悔和最小化风险

    关于随机设计回归模型的统计学习研究，我们提出了一种聚合经验最小值的方法，并建立了其风险的尖锐 Oracle 不等式，进一步证明了在良好规定的模型下，统计估计和在错误规定的模型下的统计后悔的速率等价的结论。

    Aug, 2013

  • 关于鲁棒线性回归的高效算法及下界

    研究了高维线性回归在对抗性污染下的稳健模型问题，并针对从高斯分布生成的未被修正的样本的基本情况给出了几乎最紧的上界和计算下界。

    May, 2018

  • Lipschitz ball 上的熵估计的最优速率

    本论文研究了在 Lipschitz ball 中无界密度的极小极大熵估计，使用 Orlicz 函数得出了新的估计率，并探讨了核密度估计的最坏情况表现以及与 Fisher 信息相关的不等式。

    Nov, 2017

  • 高维信噪比的自适应估计

    本研究旨在探究在高维线性回归模型的情况下，不了解回归参数稀疏性和设计分布对解释方差等因素的估计最小风险的影响，获得了在回归参数稀疏性不明确的情况下最小风险同时达到 logloss 的自适应程序，同时发现设计分布的了解对解释方差的估计至关重要。

    Feb, 2016