研究针对线性回归、低秩逼近和规范相关分析的正规化变体的矩阵草图方法,主要关注能够保留规范问题目标函数值的草图技术,为 ridge regularization 在这些问题上展示了算法资源界限,其中统计维度总是小于秩,并随着规范化程度的增加而减少
Nov, 2016
该论文探讨了在不同的损失函数下,对于 $k$- 稀疏线性回归的随机抽样方法以及其误差上界,其中包括了稀疏的逻辑回归和 ReLU 回归等损失函数,并且给出了相应的维度约束条件。
Apr, 2023
本文介绍了针对最小二乘回归问题的 CP 和 Tucker 分解模型,以及基于稀疏随机投影的数据降维技术,旨在减小模型参数数量和计算量。作者通过数值模拟得到了实验结果,证实了其理论的有效性。
Sep, 2017
该研究论文介绍了一种基于矩阵素描的流式算法,可用于近似项目频率,具有确定性、易于实现和基本易于证明的优点,并在计算上具有竞争力,比目前广泛使用的方法能够得到更为精确的矩阵素描。
Jun, 2012
提供了高效的算法来解决超定的线性回归问题,其中损失函数是对称范数(在符号反转和坐标置换下不变的范数),当损失函数为 Orlicz 范数时,算法产生一个 (1+ε)- 近似解,在输入稀疏时间内改进了先前已知的算法。
Oct, 2019
本文研究了随机草图方法,以近似解决带有一般凸约束的最小二乘问题,并提出了一种名为迭代 Hessian 草图的新方法,同时提供了数值模拟实验,包括面部表情分类实验。
Nov, 2014
本文研究了基于随机矩阵的核岭回归近似方法,证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值,从而实现了快速和极小极值的非参数回归估计。
Jan, 2015
本文提出了一种新的稀疏嵌入矩阵,通过使用这种矩阵,可以实现超约束最小二乘回归、低秩逼近、所有梁角得分的近似和 $l_p$- 回归问题的 $(1+\varepsilon)$- 近似,其时间复杂度的主导项是 $O (\nnz (A))$ 或 $O (\nnz (A)\log n)$。
Jul, 2012
用子空间嵌入保证黑盒方式证明,通过降维映射可实现近似矩阵乘法的谱范数保障,其中降维映射具有 O(~r/ε^2)行,且优于以前的工作 [MZ11,KVZ14],对于任何混淆的降维映射也是最佳的。
Jul, 2015
研究了高维线性回归在对抗性污染下的稳健模型问题,并针对从高斯分布生成的未被修正的样本的基本情况给出了几乎最紧的上界和计算下界。
May, 2018