ICMLFeb, 2017

草图岭回归：优化视角、统计视角和模型平均

PDF
TL;DR本研究探讨了经典草稿和黑塞草稿用于解决矩阵 Ridge 回归问题的统计和优化影响，并发现模型平均可大大降低由于草稿造成的统计风险，从而迅速获得近乎最优的解决方案。
matrix ridge regressionclassical sketchhessian sketchoptimization propertiesmodel averaging
发现论文，激发创造
  • 通过草图和偏差降低在小空间中的分布式最小二乘

    通过设计最小化估计量的偏差而不是误差的素描方法，在分布设置中绕过大小减小的基本限制，我们给出了一个稀疏素描方法，使用两次数据通过以最优空间和当前矩阵乘法时间恢复几乎无偏的最小二乘估计量，从而实现通信效率更高的分布式平均算法，并直接改进了几种先前的方法。

    May, 2024

  • 迭代 Hessian 草图：约束最小二乘问题的快速准确解近似

    本文研究了随机草图方法，以近似解决带有一般凸约束的最小二乘问题，并提出了一种名为迭代 Hessian 草图的新方法，同时提供了数值模拟实验，包括面部表情分类实验。

    Nov, 2014

  • 随机化草图用于核回归：快速和最优非参数回归

    本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

    Jan, 2015

  • 正则化数据拟合的更锐利界限

    研究针对线性回归、低秩逼近和规范相关分析的正规化变体的矩阵草图方法，主要关注能够保留规范问题目标函数值的草图技术，为 ridge regularization 在这些问题上展示了算法资源界限，其中统计维度总是小于秩，并随着规范化程度的增加而减少

    Nov, 2016

  • 普通最小二乘问题中基于随机草图的统计角度分析

    对大规模最小二乘问题的解决方法采用随机草图算法的统计和算法方面进行了考虑，提出了算法和统计两种框架并比较其性能，并且证明了在使用随机投影和随机抽样算法的情况下，当样本数为 $r$，且 $p<r<n$ 时，算法误差与原始问题的误差相同。

    Jun, 2014

  • 岭回归：结构、交叉验证和草图

    本文研究岭回归的三个基本问题：估计器结构、正确使用交叉验证选择正则化参数以及如何在不损失过多精度的情况下加速计算。我们在一个统一的大数据线性模型下考虑了这三个问题。通过将岭回归精确表示为真实参数和噪声的协方差矩阵相关的线性组合，我们研究了 $K$- 折交叉验证选择正则化参数的偏差，并提出了一种简单的偏差校正方法。我们分析了原始和对偶草图在岭回归中的准确性，并以模拟和实证数据分析为例说明了我们的结果。

    Oct, 2019

  • 草图算法的统计性质

    该论文介绍了一种称为 “sketching” 的数据压缩技术，该技术通过随机投影将大型数据集压缩成较小的替代数据集，然后进行统计分析，该方法特别适用于大规模的线性回归问题。

    Jun, 2017

  • 岭回归的算法和下界草图

    提出了基于草图的迭代算法，用于解决均方误差损失函数加正则项的岭回归问题，针对早期工作中的子空间嵌入要求而使用更弱的近似矩阵乘法保证，为核岭回归提供了更快的算法，同时我们对均方误差损失函数的算法框架提出了切实可行的草图规模下限。

    Apr, 2022

  • Newton-Sketch 和子采样 Newton 方法的研究

    本文研究了在解决变量数量和数据点数量都很大的有限和最优化问题的 Newton 法的背景下，两种数据空间维数缩减方法：Hessian 子采样和随机 Hadamard 变换。通过一系列数字实验和 Hessian 子采样方法的复杂性分析，揭示了使用共轭梯度方法相对于随机梯度迭代方法的优势。

    May, 2017

  • 用于训练数据归因和研究损失景观的梯度草图

    基于神经网络内在维度的研究，我们提出并研究了一种可扩展的草图算法设计空间，并在训练数据归因、Hessian 谱分析和精调预训练语言模型的内在维度计算三个应用中验证了我们方法的有效性。

    Feb, 2024