- 高效逃离非凸政策优化中的鞍点
我们提出了一种使用 Hessian 矩阵 - 向量积的方差约简二阶方法，其样本复杂度为～O (ε^(-3))，并收敛于近似二阶稳定点 (SOSP)。该方法通过使用 HVP 项在不使用 IS 权重的情况下改善了达到近似 SOSPs 的最佳已知 - 梯度主导随机优化的均质化方法
我们研究了基于最近提出的同化方法的梯度优势优化的随机齐次二阶下降方法，理论上证明了在一些特定的参数范围内，该方法实现了最先进的样本复杂度，同时我们通过数值实验证明了该方法在多个强化学习任务中的效率优势。
- 分布式优化的线性收敛算法：免费发送更少的比特！
提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。
- 随机条件梯度 ++
本文提出了一种用于非显式随机优化问题的算法 SFW ++，使用该算法可以快速收敛于全局最优解，并通过一些简单的结构扩展，可以优化跨不同优化问题的条件梯度方法。
- 使用基线的蒙特卡罗对策遗憾最小化中的方差缩减（VR-MCCFR）在广义式博弈中的应用
本文介绍了一种方差缩减技术 VR-MCCFR，它可以应用于任何 MCCFR 的采样变型方法。这个新公式可以从同一事件中的其他估计值启动引导，即引导基线在采样轨迹上沿估计传递收益，而估计值保持不偏。实验结果表明，VR-MCCFR 可以提供一个 - ICML随机方差减少的哈密顿蒙特卡洛方法
本文提出了一种快速的随机 Hamilton Monte Carlo 方法，用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能，实验结果表明，该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradi - 随机方差减少的立方正则化牛顿法
提出了随机方差约减的立方正则牛顿法，应用于非凸优化问题。该方法在半随机梯度和半随机海森矩阵的基础上工作，具有较低的复杂度，并在各种非凸优化问题上得到了验证。
- AAAI具有非光滑正则化的随机复合优化加速方法
本文提出针对非光滑正则化惩罚的随机合成问题的最优化方法，在强凸组合问题中证明线性收敛，对于普通组合问题改进了现有的收敛速率，应用于强化学习中的投资组合管理和政策评估，结果验证了我们的理论分析。
- 深度学习的鲁棒自适应随机梯度方法
本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。
- 具有方差缩减的异步随机近端优化算法
本文提出异步 ProxSVRG 和异步 ProxSVRCD 算法，证明当训练数据为稀疏矩阵时，异步 ProxSVRG 可以达到近似线性加速，而异步 ProxSVRCD 无论稠密还是稀疏数据，只要区块数目适当，就可以实现近似线性加速。通过实验 - 无投影方差减少的随机优化
本研究利用一种新的方差降低技术，提出两种随机 Frank-Wolfe 算法变体，可在小于梯度下降算法的数据梯度评估次数下，获得更好的结果。
- ICLRADASECANT：用于随机梯度的鲁棒自适应割线法
本文介绍一种新的自适应学习率算法，该算法利用曲率信息自动调整学习率，并提出一种新的方差缩减技术来加速收敛。在深度神经网络的初步实验中，与常见的随机梯度算法相比获得了更好的性能。