本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。

May, 2023

本文应用马尔科夫链理论，通过随机梯度下降（SGD）算法来计算目标函数，并提供了一种新的 Richardson-Romberg 外推方法来优化 SGD 算法，通过渐进展开分析，总结出其与初始条件、噪声和步长的相关性。

Jul, 2017

该研究提出了一种名为 MarchOn 的随机镜像下降的新版本，应用于联合学习的场景，通过分析该方法的新框架，获得了凸性、强凸性和非凸性损失函数的最佳收敛速度，最后通过实证研究验证了理论结果。

Sep, 2023

本文探讨了基于梯度的算法，如梯度下降、随机梯度下降、其持续变体和 Langevin 算法如何浏览非凸损失景观及其在有限样本复杂度下能否达到最佳泛化误差问题。我们以高维相位恢复问题的损失景观为典型例子，证明了随机梯度下降算法可以在控制参数区域达到完美的泛化性能，而梯度下降算法则不能。我们还运用动力学均场理论从统计物理学的角度分析了这些算法在连续时间、以热启动方式和大系统规模下的全部轨迹，并揭示了景观和算法的若干有趣特性，如梯度下降算法可以从更少的初始信息获得更好的泛化性能。

Mar, 2021

本文研究了基于 Markov 链采样的随机约束随机优化问题，将 drift-plus-penalty 方法推广至这一设置，提出了两种变体，分别适用于已知和未知混合时间的情况，同时适用于约束函数序列遵循 Markov 链的一般设置，通过在分类中引入公平约束的数值实验证明了我们所提方法的有效性。

Dec, 2023

本文研究梯度下降和随机梯度下降等算法在机器学习中的应用，分析了这些算法在非凸优化问题中收敛到驻点的情况，提出了变形的算法可以更高效地避免出现维数灾难，从而沟通了理论和实践。

Feb, 2019

在当今时代，计算机、计算和数据在科学研究和发现中的重要性不断增加。本论文主要关注梯度本身，解决非线性优化问题，并介绍了逆向微分的概念和应用，以及分段连续模型的使用案例。

May, 2024

研究随机误差对两个约束性增量次梯度算法的影响，并以分布式网络为基础，研究标准增量次梯度算法和随机误差下的方法。通过 Markov 随机增量次梯度方法，对移动网络拓扑变化的建模，研究其稳定性和误差上界。

Jun, 2008

开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法，通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战，进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。

Jun, 2017

本文提供了一种基于连续马尔可夫过程的通用配方，用于构建包括随机梯度版本的 MCMC 采样器，并提出了一种新的状态自适应采样器：随机梯度 Riemann Hamiltonian Monte Carlo (SGRHMC)。通过实验证明，该算法继承了 Riemann HMC 的优点，并具有可扩展性。

Jun, 2015