Oct, 2023

自适应线性模型的统计限制：低维估计与推断

PDF
TL;DR使用自适应数据收集的估计和推断在统计学中面临重大挑战。通过研究单个坐标估计的错误表明了适应性数据和 i.i.d. 数据之间估计性能的显著差异。研究表明 OLS 方法可实现匹配的估计错误，我们还提出了一种新的单坐标推断估计器，通过解两阶段自适应线性估计方程来实现。
estimationinferenceadaptive datalinear modelsasymptotic normality
发现论文，激发创造
  • 自适应线性估计方程

    本文提出了一种构建无偏估计器的普遍方法，使用自适应线性估计方程的思想，并建立渐近正常性的理论保证，以及实现接近最优渐近方差的讨论。

    Jul, 2023

  • 学习无需混合：追求线性系统识别的尖锐分析

    该研究证明了最小二乘（OLS）估算器在从单个观察轨迹中识别线性动态系统方面达到了几乎最小化最优性能。

    Feb, 2018

  • 普通最小二乘插值器的代数和统计性质

    通过提供 OLS 插值器的高维代数和统计结果，我们对其一般化能力和因果推断具有实质性影响进行了研究，此外，我们还在高斯 - 马尔可夫模型下提出了统计结果和方差估计的分析。

    Sep, 2023

  • 高维广义线性模型中基于流数据的自适应无偏 SGD

    在线统计推断使得实时分析顺序采集的数据成为可能，本文引入了一种针对高维广义线性模型的在线推断新方法，通过在每次新增数据到达时更新回归系数估计和其标准误差，与现有方法相比，该方法以单次传递模式运行，大大降低了时间和空间复杂度。方法的核心创新在于针对动态目标函数设计的自适应随机梯度下降算法，结合了一种新型的在线去偏过程，能够在有效控制由动态变化的损失函数引入的优化误差的同时，保持低维度的摘要统计量。我们的方法，即近似去偏套索（ADL），不仅减轻了有界个别概率条件的需求，而且显著提高了数值性能。数值实验证明了所提出的 ADL 方法在各种协方差矩阵结构下一致表现出鲁棒性。

    May, 2024

  • 高维线性模型低维参数的置信区间

    本文提出了一种针对高维数据中低维度参数的统计推断方法，重点在于构建线性回归模型中单个系数和多个系数的线性组合的置信区间，提出的估计器在趋于无穷时渐近正态，其有限维协方差矩阵的一致估计器满足充分条件，模拟结果证明了置信区间的覆盖概率准确性，强烈支持理论结果。

    Oct, 2011

  • 自适应数据分析中维护统计学有效性

    关于如何在自适应数据分析中保证统计推断的有效性的研究，使用隐私保护技术协调估计值，并在估计指数数量的期望时取得了指数级的改进，适用于多重假设检验和虚假发现率控制。

    Nov, 2014

  • 高维线性判别分析：最优性、自适应算法和缺失数据

    提出一种基于自适应受限 L1 最小化方法的无需调参分类规则，并证明了其在一组参数空间内的速率最优性。同时，对于存在缺失数据的分类问题，引入了一种具有理论保证的自适应分类器，并建立了在 MCR 模型下高维线性判别分析的最优收敛率。该研究围绕线性判别分析的最优性理论展开，并在实际的肺癌和白血病研究中进行了应用。

    Apr, 2018

  • 适应线性模型的准确推理

    提出了一种 W - 去相关方法用于消除自适应线性回归估计量的偏差，并基于全新的鞅集中极限定理建立了渐近正确的置信区间。该方法旨在应用于多臂赌博机和自回归时间序列等不同自适应数据设置中，并取得了实证上的收益。

    Dec, 2017

  • 高维线性模型中的最小二乘法：无处不在的容错与无泪的处理

    本文介绍了针对高维度问题的普通最小二乘（OLS）法无法适用的问题，我们提出了一种基于岭回归的 OLS 的广义版本，并提出了两种新的三步算法，这些算法在直观上易于理解，计算上易于高效实现，并且在模型选择方面有较强的理论吸引力。通过模拟和数据分析中与基于罚项的方法相比较的数值实验，这些算法的潜力得到了证明。

    Jun, 2015

  • 自适应感知的基本极限

    研究了基于线性测量和自适应策略下的信号恢复问题，证明了即使采用自适应和复杂的估计算法，也无法显著提高恢复速度。

    Nov, 2011