学习 CountSketch 中的位置
该论文介绍了构建输入矩阵的低秩近似的算法套件,这些算法使用矩阵的随机线性图像(称为草图)。这些方法可以保留输入矩阵的结构特性,如半正定性,并且可以生成具有用户指定秩的近似值。此外,每种方法都伴随着一个信息性误差界,允许用户预先选择参数以实现所需的近似质量。这些论断受真实和合成数据的数字实验支持。
Aug, 2016
本文综述了数值线性代数算法领域的最新进展,着重介绍了利用线性草图技术来进行矩阵压缩的方法,以加速解决原问题。文章讨论了最小二乘、鲁棒回归、低秩逼近和图稀疏化的问题,并优化了这些问题的不同变体。最后,文章探讨了草图方法的局限性。
Nov, 2014
利用随机矩阵的谱分析最新进展,我们开发了一种新的技术,提供了随机投影矩阵的期望值的确切表达式,这些表达式可以用来表征多种常见的机器学习任务中的降维性能,包括低秩估计和迭代随机优化等。我们的结果适用于多种流行的草图方法,包括高斯和 Rademacher 草图,结果表明,我们推导出的表达式反映了这些草图方法的实际性能,甚至体现了较低阶效应和恒定因子。
Jun, 2020
通过压缩稀疏矩阵,考虑矩阵草图问题,提供针对矩阵非零元素的抽样分布,用最小信息计算以任意顺序呈现且高度可压缩的草图矩阵,且在渐进意义下可以与最优离线分布相竞争。
Nov, 2013
本文提出了一种压缩学习框架,通过数据的限制集来估计模型参数,并演示了该方法在高斯混合模型和说话人验证任务中的成功应用,以及它与随机特征的近似希尔伯特空间嵌入方法之间的联系。
Jun, 2016
本文研究了随机草图方法,以近似解决带有一般凸约束的最小二乘问题,并提出了一种名为迭代 Hessian 草图的新方法,同时提供了数值模拟实验,包括面部表情分类实验。
Nov, 2014
本文提出了一种新的方法,将工人技能评估问题转化为一种秩为 1 的相关矩阵完成问题,并且展示出当采样矩阵不具有二分图连通部分时,相关矩阵可以成功恢复和技能可识别,此外,作者还推导出了基于采样矩阵符号 Laplacian 的样本复杂度界限,并且该方案在许多实际数据集上实现了最先进的性能。
Apr, 2019
通过使用 Frequent Directions sketch 低秩技术,可以减少维护矩阵预处理器的内存和计算量,并在多个大规模基准测试中展示出较好的内存 - 质量 Pareto 前沿。
Feb, 2023
本文介绍了一种基于 SketchyCGM 的算法,使用低秩近似来解决凸矩阵优化问题,该算法修订了条件梯度法,仅存储矩阵变量的随机草图,最后从草图中提取出低秩近似解决方案。与非凸启发式相比,SketchyCGM 的保证不依赖于问题数据的统计模型,而数值实验证明了 SketchyCGM 的优点。
Feb, 2017