Apr, 2024
基于梯度滑动方法的少数据神经网络分布式随机约束优化
Stochastic Constrained Decentralized Optimization for Machine Learning with Fewer Data Oracles: a Gradient Sliding Approach
Hoang Huy Nguyen, Yan Li, Tuo Zhao
TL;DR现代分散应用中，通信效率和用户隐私是关键挑战。为了训练机器学习模型，算法必须与数据中心进行通信并对其梯度计算进行采样，从而暴露数据并增加通信成本。为了解决这个问题，我们提出了一种分散优化算法，它在通信效率上高效，并通过最优梯度复杂性达到了一个 ε- 近似解，对于凸和强凸的设置分别为 O (1/√ε+σ²/ε²) 和 O (log (1/ε)+σ²/ε)，对于两种设置都具有 O (1/ε²) 的 LO (线性优化) 复杂性，给定方差 σ² 的随机梯度预言。与之前的工作相比，我们的框架放宽了最优解是可行集的严格内点的假设，并在使用随机梯度预言进行大规模训练时具有更广泛的适用性。我们还通过各种数值实验证明了我们算法的效率。