基于随机 telescopingsum 的循环和限制有效优化
研究 RNN 的训练方法，提出新的 RTRL 逼近算法 OK-Kronecker-Sum 并证明其优秀性能，经实验验证 OK- Kronecker-Sum 能够在真实世界任务中匹配 TBPTT，在合成字符串记忆任务中优于 TBPTTs。
Feb, 2019
本文介绍了一种结构化数据拟合应用的优化问题的混合方法，同时具有增量梯度算法的高效迭代和完全梯度算法的稳定收敛性，基于这种方法提出了一个实用的拟牛顿算法实现，并通过数值实验证明了其潜在优势。
Apr, 2011
本文提出了一种使用健壮控制合成技术来进行算法搜索的方法，以获得在具有任意有限内存的算法上成立的最坏情况下性能保证，并证明了这种方法比先前方法更为有效。
Apr, 2019
本文探讨了在分布式多代理网络上定义的一类有限和凸优化问题，通过开发一种新的随机渐进梯度算法（RGEM），解决了无需精确梯度评估，但可以实现最优复杂度界限的问题，同时维持了最佳的随机复杂度（直至一定的对数因子），作者同时基于 Nesterov 的加速梯度方法开发了算法。
Nov, 2017
本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。
Jun, 2019
提出了一种用于解决两时间尺度优化问题的新方法，通过利用平均化步骤改善算子的估计，消除了主要变量之间的直接耦合，从而大大加快了收敛速度，并在强凸性、凸性、Polyak-Lojasiewicz 条件和一般非凸性等各种情况下改进了传统两时间尺度随机逼近算法的复杂性，该算法在强化学习中表现出色，超越或与现有的最先进方法相匹配，并通过强化学习中的数值模拟验证了理论结果。
May, 2024
本文介绍了一种低秩 LSTD 算法，该算法能更好地平衡计算效率和采样效率，使过去的样本高效地实现对最少二乘法时间差分（LSTD）的采样复杂度，同时实现近似 LSTD 的样本复杂度。我们在模拟中给出了关于截断低秩逼近所得解的模拟界限，这表明一个偏差 - 方差折衷需要依赖秩的选择。我们证明了该算法在基准任务和高维能量分配领域的策略评估中有效地平衡了计算复杂性和采样效率。
Nov, 2015