高维线性回归的置信区间:极小极大速率和适应性
本文提出了一种针对高维数据中低维度参数的统计推断方法,重点在于构建线性回归模型中单个系数和多个系数的线性组合的置信区间,提出的估计器在趋于无穷时渐近正态,其有限维协方差矩阵的一致估计器满足充分条件,模拟结果证明了置信区间的覆盖概率准确性,强烈支持理论结果。
Oct, 2011
本研究旨在探究在高维线性回归模型的情况下,不了解回归参数稀疏性和设计分布对解释方差等因素的估计最小风险的影响,获得了在回归参数稀疏性不明确的情况下最小风险同时达到 logloss 的自适应程序,同时发现设计分布的了解对解释方差的估计至关重要。
Feb, 2016
在两个稀疏假设下,推导了高维非参数回归的最小 $L_2$ 风险;通过区分特征重要性和局部平滑度,将贝叶斯高斯过程回归方法扩展到稀疏加性模型,实现自适应最优的最小极值。
Jan, 2014
该论文提出了一种用于高维模型中单个或低维组件的置信区间和统计检验的一般方法,可轻松调整用于考虑测试之间的依赖关系。该方法还自然地扩展到具有凸损失函数的广义线性模型。
Mar, 2013
本文提出了一种基于随机序列算法的最小化极限风险收敛速率的方法,其鲁棒性得到了保证, 并对于损失函数的凸度及输出分布中的噪声级别等因素,提供了紧凑的可执行上限界。
Mar, 2007
研究在以非参数高斯回归为背景下,针对 Lp 损失(其中 p> = 1 且 p <无穷大)在 Sobolev 类型类的集合上构建诚实和自适应置信集的问题。该文提出了目标是使置信区间的直径与底层函数的光滑度程度相适应,同时确保真实函数在高概率下位于置信区间。当 p> = 2 时,我们确定了两个主要的阶段,(i)一个是在不受任何模型限制的情况下可以实现自适应,(ii)一个是必须移除关键区域。我们还证明了这些去除区域的大小不能显著较小,这是通过相应下限得出的。这些阶段在定性上显示与指数 p 有关,并展示了从 p = 2 到 p = 无穷大的连续过渡。
Jun, 2013
本文研究了标准线性回归模型的极小极大收敛速度,证明在合适的设计矩阵正则化条件下,最小值误差在 $L_2$-,$L_{oldsymbol r}$- 损失和 $L_{oldsymbol 2}$- 预测损失内达到了收缩速度。同时,我们提供了 $L_{oldsymbol r}$- 范数的极小极大风险下限。
Oct, 2009
使用自适应数据收集的估计和推断在统计学中面临重大挑战。通过研究单个坐标估计的错误表明了适应性数据和 i.i.d. 数据之间估计性能的显著差异。研究表明 OLS 方法可实现匹配的估计错误,我们还提出了一种新的单坐标推断估计器,通过解两阶段自适应线性估计方程来实现。
Oct, 2023
探讨平衡标准误差和隐私保护之间的关系,提出了最小化极限风险下的差分隐私约束的算法,包括隐私迭代硬阈值追踪,以及在实际数据集中表现出的数值表现。
Feb, 2019