自适应线性估计方程
使用自适应数据收集的估计和推断在统计学中面临重大挑战。通过研究单个坐标估计的错误表明了适应性数据和 i.i.d. 数据之间估计性能的显著差异。研究表明 OLS 方法可实现匹配的估计错误,我们还提出了一种新的单坐标推断估计器,通过解两阶段自适应线性估计方程来实现。
Oct, 2023
本文发展了一种基于批处理数据的自适应数据收集的带状算法推断方法,证明了普通最小二乘估计器在标准的赌臂算法收集数据时不是渐近正常的,提出了批处理 OLS 估计器,并证明其可以适用于多臂和情境赌臂算法并且对随机变量鲁棒。
Feb, 2020
在线统计推断使得实时分析顺序采集的数据成为可能,本文引入了一种针对高维广义线性模型的在线推断新方法,通过在每次新增数据到达时更新回归系数估计和其标准误差,与现有方法相比,该方法以单次传递模式运行,大大降低了时间和空间复杂度。方法的核心创新在于针对动态目标函数设计的自适应随机梯度下降算法,结合了一种新型的在线去偏过程,能够在有效控制由动态变化的损失函数引入的优化误差的同时,保持低维度的摘要统计量。我们的方法,即近似去偏套索(ADL),不仅减轻了有界个别概率条件的需求,而且显著提高了数值性能。数值实验证明了所提出的 ADL 方法在各种协方差矩阵结构下一致表现出鲁棒性。
May, 2024
通过提供 OLS 插值器的高维代数和统计结果,我们对其一般化能力和因果推断具有实质性影响进行了研究,此外,我们还在高斯 - 马尔可夫模型下提出了统计结果和方差估计的分析。
Sep, 2023
这篇论文研究在线决策问题,通过采用上下文乐队 it,并建立奖励模型来进行长期奖励最大化。 使用估计模型参数的 OLS 和 WLS 方法来处理该问题,借助中心极限定理证明了参数的渐近正常性。同时,我们还通过实验验证了我们的结论。
Oct, 2020
通过分析最小二乘估计器的变体,,提出了一种半参数噪声估计算法,可以解决具有偏差,半参数噪声的估计问题,同时可以应用于部分观测线性系统参数的估计,且对于长期依赖问题的方差引入具有可减少的能力.
Feb, 2019
通过利用高斯约翰逊 - 林登斯特劳斯变换(JLT)来估计 OLS 中的 $t$ 值并推导出投影后的数据的置信区间,该文提出了一种基于不同隐私估计器的类似保证性质的方法。
Jul, 2015
我们提出了一个针对普通最小二乘问题的样本和时间高效的差分隐私算法,误差线性依赖于维度并且与 $X^ op X$ 的条件数无关,其中 $X$ 是设计矩阵。我们的算法具有接近最优的准确性保证,适用于具有有限统计杠杆率和有界残差的任何数据集。
Apr, 2024
本文介绍了针对高维度问题的普通最小二乘(OLS)法无法适用的问题,我们提出了一种基于岭回归的 OLS 的广义版本,并提出了两种新的三步算法,这些算法在直观上易于理解,计算上易于高效实现,并且在模型选择方面有较强的理论吸引力。通过模拟和数据分析中与基于罚项的方法相比较的数值实验,这些算法的潜力得到了证明。
Jun, 2015