自适应随机子空间中的高维优化

Jun, 2019

High-Dimensional Optimization in Adaptive Random Subspaces

Jonathan Lacotte, Mert Pilanci, Marco Pavone

TL;DR提出了一种新的高维随机优化方法，将坐标下降法推广到随机子空间，证明了使用自适应采样策略的随机子空间可以显著优于最近文献中常见的盲目采样方法，可以通过相关随机矩阵集合有效生成自适应子空间；在具有不同谱衰减的数据矩阵上验证了该方法在机器学习问题中的速度优势，包括逻辑回归、带随机卷积层的核分类和具有修正线性单元的浅神经网络。

Abstract

We propose a new randomized optimization method for high-dimensional problems which can be seen as a generalization of coordinate descent to random subspaces. We show that an adaptive sampling strategy for the ra

randomized optimization coordinate descent adaptive subspace relative error machine learning

发现论文，激发创造

一种学习主子空间的新型随机梯度下降算法

本文基于样本输入数据推导出一种算法，可以学习如何从具有潜在主子空间的矩阵中进行分类或降维，适用于神经网络，可以有效地扩展到无限数量的行和列上。

Dec, 2022

RSN：随机子空间牛顿法

本研究提出了一种基于随机化草图的随机牛顿法，可以解决具有巨大维度的特征空间的学习问题，并通过开发全局线性收敛理论，证明了其有效性。

May, 2019

超参数优化：一种光谱方法

本文介绍一种基于布尔函数分析技术的超参数优化方法，应用于高维数据的神经网络训练，并借鉴压缩感知技术，仅需要均匀取样即可迭代并行计算，故速度极快。在实验中，相较于目前最好的工具，此方法能够将解决方案有效提高，且总运行时间比其他方法更快。同时，该方法具有可证明的保证且对于决策树学习具有重要意义。

Jun, 2017

在低维随机空间中提升神经网络训练

通过应用随机投影子空间和多个独立的随机投影，重新绘制了随机子空间优化的方式，以提高大规模深度神经网络的优化效率。

Nov, 2020

AdaSub：低维子空间中使用二阶信息的随机优化

AdaSub 是一种基于二阶信息在低维子空间内计算搜索方向的随机优化算法。相比一阶方法，二阶方法具有更好的收敛特性，但每次迭代需要计算 Hessian 矩阵导致计算开销过大，因此不切实际。为解决这一问题，我们的方法通过选择搜索的子空间维度来管理计算开销和算法效率。我们的代码可以在 GitHub 上免费获取，并且我们的初步数值结果表明，AdaSub 在达到给定精度所需的时间和迭代次数方面优于流行的随机优化器。

Oct, 2023

通过双重随机投影恢复最优解

本文提出了一种名为 Dual Random Projection 的简单算法，通过将高维数据映射到低维子空间来减少计算成本，使用低维优化问题的对偶解来恢复原始优化问题的最优解，并分析了算法的理论依据。

Nov, 2012

Krylov 子空间下降用于深度学习

本研究提出了一个针对高维模型和大量训练样本的二阶优化方法，使用 Krylov 子空间进行训练加速，并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法，且优于 Hessian Free 方法。

Nov, 2011

高维随机零阶优化

本文介绍了使用随机零阶查询优化高维凸函数的问题，提出了两种算法，并表明两种算法只依赖于问题的环境维度的对数收敛率。实证研究证明了理论发现，并表明我们设计的算法在高维场景中优于经典的零阶优化方法。

Oct, 2017

稀疏轴向对齐子空间的高维贝叶斯优化

基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。

Feb, 2021

具有统计保证的随机降维

研究论文通过研究快速执行和数据利用的算法，探索了大型模型和数据利用的有效维度减少策略，以及提高泛化和分布鲁棒性的数据增强方法。

Oct, 2023