本文提出了一种分布式加速线性回归的方法,通过使用随机化草稿技术和改善异步系统中的顽固者韧性来确保安全性,同时应用随机齐次正交矩阵和子采样块来安全获取信息和减少回归问题的维度。
Aug, 2023
通过稀疏图构建的计算简单的渐变编码可以有效增强算法对滞后节点的鲁棒性。
Nov, 2017
本文探讨了权重得分采样技术在核方法和深度学习理论中的应用,证明了神经网络的初始化与用随机特征逼近神经切向核之间的关系,以及通过使用常规的随机高斯权重或权重得分采样初始化,正则化神经网络和神经切向核岭回归之间的等效性。
Sep, 2020
本文提出了一个新的编码理论框架用于缓解分布式学习中的滞后问题,并使用 MPI 在 Amazon EC2 上实现了该方案,得出其在运行时间和泛化误差方面比基准方法更优秀的结论。
Dec, 2016
本文提出了一种直接在数据中嵌入冗余来处理缓慢任务的新方法,通过一些编码技巧将复制数据的策略转换到线性计算过程中,从而利用节点的任意变化在没有等待慢节点的情况下完成散列计算,并通过实验结果表明此方法的优势。
本文提出了一种适用于随机拖延者的梯度编码方案(SGC),它通过一种成对平衡的设计将数据点冗余分配给工作人员,并忽略了拖延者,证明了 SGC 的收敛速度与批量随机梯度下降的收敛速度相匹配,并演示了设计中的冗余量如何改进收敛速度和处理大量拖延者。
May, 2019
本文提出了一种基于核的正定矩阵的杠杆得分采样算法, 并利用该方法派生了核岭回归的新解算器,我们的主要技术贡献在于表明所提出的算法目前对于这些问题是最有效和精确的。
Oct, 2018
本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法,并提出了一个计算算法,该算法可以用来在不需要生成全核矩阵的情况下,对特征向量矩阵进行采样,并在统计表现和运行时间方面提供了新的保证。
Nov, 2014
本文研究稀疏张量的低秩正交多项式分解,提出了使用杠杆得分来选择子集行数的草图方法,并提供了一个实际的解决方案,以提高高杠杆得分行的采样和理论界限。
Jun, 2020
本文介绍梯度编码的技术,通过使用编码理论中的循环 MDS 码设计新颖的梯度编码,并引入一个近似变种,通过使用展开图的归一化邻接矩阵,实现了优秀的近似梯度编码,可以比精确梯度编码更高效地减少计算,确保更快地收敛。
Jul, 2017