ICMLJul, 2020

使用估计异方差误差的草图数据的最小二乘估计

PDF
TL;DR本篇论文考虑当回归误差不具备恒定方差和异方差稳健标准误差被需要时，使用数据草图的估计值如何表现 ' 好像 ' 误差是均方差齐性的，并证明了这种情况下随机投影的草图估计值可以表达为退化 U - 统计量，给出了统计方法，证明其具有均方差齐性。如果正确选择草图估计，可以使推断变得简单，并且也可以用于工具变量估计。
random projectionsheteroskedasticityinferencesamplinginstrumental variables
发现论文，激发创造
  • 普通最小二乘问题中基于随机草图的统计角度分析

    对大规模最小二乘问题的解决方法采用随机草图算法的统计和算法方面进行了考虑，提出了算法和统计两种框架并比较其性能，并且证明了在使用随机投影和随机抽样算法的情况下，当样本数为 $r$，且 $p<r<n$ 时，算法误差与原始问题的误差相同。

    Jun, 2014

  • 草图算法的统计性质

    该论文介绍了一种称为 “sketching” 的数据压缩技术，该技术通过随机投影将大型数据集压缩成较小的替代数据集，然后进行统计分析，该方法特别适用于大规模的线性回归问题。

    Jun, 2017

  • 一般回归误差假设下无岭最小二乘估计器的均方误差

    本文从均方误差的角度对 ridgeless interpolation least squares estimator 进行分析，证明相对于样本大小引入大量不重要的参数能够有效降低估计器的均方误差，并且利用回归误差的方差 - 协方差矩阵的迹来刻画估计困难。

    May, 2023

  • 大步长非参数随机逼近

    本文研究了基于再生核 Hilbert 空间（RKHS）框架下的随机设计最小二乘回归问题，其中采用平均非正则化最小均方算法得到了最优收敛速率。

    Aug, 2014

  • 不完全统计扰动：私有最小二乘的稳定估计器

    我们提出了一个针对普通最小二乘问题的样本和时间高效的差分隐私算法，误差线性依赖于维度并且与 $X^ op X$ 的条件数无关，其中 $X$ 是设计矩阵。我们的算法具有接近最优的准确性保证，适用于具有有限统计杠杆率和有界残差的任何数据集。

    Apr, 2024

  • 迭代 Hessian 草图：约束最小二乘问题的快速准确解近似

    本文研究了随机草图方法，以近似解决带有一般凸约束的最小二乘问题，并提出了一种名为迭代 Hessian 草图的新方法，同时提供了数值模拟实验，包括面部表情分类实验。

    Nov, 2014

  • 重尾统计算法：回归、协方差估计和更多

    研究怎样在不假设样本的基础分布为高斯分布的前提下，只假定有限个矩的情况下，有效地进行线性回归和协方差估计，并关注能用多少样本来实现高精度和指数级成功概率。使用八阶圆当量半定规划提供算法，预备性的证据表明在我们的算法使用的平均中位数框架中无法在多项式时间内改善这些误差率。

    Dec, 2019

  • 鲁棒估计因果异方差噪声模型

    通过使用学生 t 分布提出了一种估计异方差噪声模型的新方法，以解决现有估计方法在数据分布非高斯时存在的亚优和不稳定问题，并成功地在合成和真实基准测试中表现出更好的鲁棒性和整体性能。

    Dec, 2023

  • 通过草图和偏差降低在小空间中的分布式最小二乘

    通过设计最小化估计量的偏差而不是误差的素描方法，在分布设置中绕过大小减小的基本限制，我们给出了一个稀疏素描方法，使用两次数据通过以最优空间和当前矩阵乘法时间恢复几乎无偏的最小二乘估计量，从而实现通信效率更高的分布式平均算法，并直接改进了几种先前的方法。

    May, 2024

  • 具有共生学习的近似最优异方差回归

    本文研究异方差线性回归问题，提出一种新的方法估计真实权重向量 w，并对该方法提供了收敛保证及误差估计。

    Jun, 2023