关键词stochastic first-order methods
搜索结果 - 5
- 非凸高维随机优化的非光滑和非欧几里德近端项随机一阶方法
非凸优化中采用维度无关的随机一阶方法 (DISFOM) 来解决样本复杂度问题，使用小批量估计梯度以达到 ε- 稳定点的样本复杂度为 O ((log d) / ε^4)，进一步利用方差缩减可将该界限提高至 O ((log d)^(2/3) / - 应对随机鞍点优化中的无界梯度问题
研究用于找到凸凹函数鞍点的随机一阶方法的性能。我们提出了一种简单有效的正则化技术，稳定迭代并提供有意义的性能保证，即使域和梯度噪声与迭代的大小成线性关系（可能是无界的）。此外，我们还将算法应用于强化学习中的特定问题，在无偏扩展的平均奖励 M - 小批量处理对二阶优化器的泛化性能有所改善
深度神经网络的训练对计算资源消耗较大，为了提高性能，机器学习科学家通常使用随机一阶及二阶优化方法，通过经验研究发现，训练中的批大小对方法的最大准确率有显著影响，并且二阶优化方法在特定批大小下表现出更低的方差，可能需要更少的超参数调整，从而减 - 使用平均奖励标准的逆强化学习
本文提出了一种基于平均奖励框架的逆强化学习方法，并通过研发一系列随机一阶方法用以有效减少计算复杂度，这些方法可用于解决平均奖励马尔可夫决策过程的子问题，并为对策镜像下降法提供支持。最终，我们在 MuJoCo 基准测试和其他控制任务中进行数值 - 非凸随机优化下的下限界
采用随机一阶方法找到梯度范数不超过 ε 的 ε- 稳定点的复杂度下界，使用具有有界方差的无偏随机梯度预言机访问光滑但可能非凸函数的一种模型，证明任何算法在最坏情况下需要至少 ε^-4 个查询才能找到 ε- 稳定点。对于噪声梯度估计满足均方光