本研究旨在提出一种高效的 Kronecker 乘积回归算法,该算法可以用于矩阵逼近和低秩逼近,并且小于 2 的 p 值具有更好的运行时间,此外,还提出了一种用于所有成对差异的回归问题的算法。
Sep, 2019
提出了一种通用方法,可将数值线性代数中的随意草图解决方案应用于数据点的张量,从而根据多项式内核函数的大小开发了第一个仅在目标维度上具有多项式依赖性的多项式内核的忽略草图,并且无需因输入数据维数而遭受指数依赖。
本文介绍了用于图数据的新方法 - 图神经正切核 (GNTK),并提出了第一种在 O(n ^ 2N ^ 3)运行时间内构造核矩阵的算法,以加快 GNTK 回归的端到端运行时间。
Dec, 2021
该研究提出一种基于稀疏张量分解和阈值梯度下降的二阶段非凸实现框架,可从立方挖掘中进行稀疏和低秩张量估计,在无噪音情况下确保准确恢复,在带噪音情况下高概率稳定恢复,并导出了新的高阶浓度不等式对高阶交互追求在高维线性回归中的潜在应用进行了张量表述。
Jan, 2018
利用随机矩阵的谱分析最新进展,我们开发了一种新的技术,提供了随机投影矩阵的期望值的确切表达式,这些表达式可以用来表征多种常见的机器学习任务中的降维性能,包括低秩估计和迭代随机优化等。我们的结果适用于多种流行的草图方法,包括高斯和 Rademacher 草图,结果表明,我们推导出的表达式反映了这些草图方法的实际性能,甚至体现了较低阶效应和恒定因子。
Jun, 2020
提供了高效的算法来解决超定的线性回归问题,其中损失函数是对称范数(在符号反转和坐标置换下不变的范数),当损失函数为 Orlicz 范数时,算法产生一个 (1+ε)- 近似解,在输入稀疏时间内改进了先前已知的算法。
Oct, 2019
该论文探讨了在不同的损失函数下,对于 $k$- 稀疏线性回归的随机抽样方法以及其误差上界,其中包括了稀疏的逻辑回归和 ReLU 回归等损失函数,并且给出了相应的维度约束条件。
Apr, 2023
本文提出了一种分布式加速线性回归的方法,通过使用随机化草稿技术和改善异步系统中的顽固者韧性来确保安全性,同时应用随机齐次正交矩阵和子采样块来安全获取信息和减少回归问题的维度。
Aug, 2023
本文研究了基于随机矩阵的核岭回归近似方法,证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值,从而实现了快速和极小极值的非参数回归估计。
Jan, 2015
该研究提出了一种近似算法,旨在加速使用神经切向核的大规模学习任务,并结合随机特征,通过谱逼近保证精度。实验结果表明,其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度,同时提高了 150 倍的速度。
Jun, 2021