关键词stochastic gradient oracle
搜索结果 - 4
- 交替方向 SGHMC 算法的收敛性分析
我们研究了具有跳跃点积分的 Hamiltonian Monte Carlo 算法在目标分布的随机梯度神谕上的收敛速率。我们的方法通过 Alternating Directions 的新颖步骤，扩展了标准 HMC 算法的使用范围，使其能够使用 - 基于梯度滑动方法的少数据神经网络分布式随机约束优化
现代分散应用中，通信效率和用户隐私是关键挑战。为了训练机器学习模型，算法必须与数据中心进行通信并对其梯度计算进行采样，从而暴露数据并增加通信成本。为了解决这个问题，我们提出了一种分散优化算法，它在通信效率上高效，并通过最优梯度复杂性达到了一 - 流言模型中的分散式学习动态
研究在流言传播模型中的分布式多臂赌博设置在 n 个。内存受限节点的人口中：在每个回合中，每个节点本地采取 m 个手臂之一，观察从手臂中获得的回报（敌意选择）分布，然后与随机抽样的邻居进行通信，交换信息以确定其在下一轮中的策略。我们引入和分析 - 非凸随机优化下的下限界
采用随机一阶方法找到梯度范数不超过 ε 的 ε- 稳定点的复杂度下界，使用具有有界方差的无偏随机梯度预言机访问光滑但可能非凸函数的一种模型，证明任何算法在最坏情况下需要至少 ε^-4 个查询才能找到 ε- 稳定点。对于噪声梯度估计满足均方光