- 基于核心成像库和协同图像重建框架的正电子发射断层重建的随机优化框架
我们在开源的 Core Imaging Library (CIL) 中引入了一个随机框架，使得随机算法的开发变得更加容易。我们从文献中开发了五种这样的算法：随机梯度下降法、改良的随机平均梯度法、去循环的随机方差减少梯度法。通过对一个模拟的二 - 超过 Lipschitz 连续性的随机弱凸优化
本研究考虑在没有标准 Lipschitz 连续性假设的随机弱凸优化问题中，基于新的自适应正则化（步长）策略，我们展示了一类广泛的随机算法包括随机次梯度法在具有恒定错误率的情况下保持 O (1/√K) 的收敛速率。我们的分析基于弱假设：Lip - 多块双层优化的分块随机方差减小方法与并行加速
该论文提出了两种新的随机算法，使用先进的分块方差减少技术来跟踪 Hessian 矩阵，解决了多块双层优化问题的挑战，证明了其收敛性和高效性，在机器学习等领域具有重要的应用。
- 具有样本大小无关性的随机约束 DRO
本文提出并分析了一种基于随机算法的方法，用于解决 Kullback Leibler divergence 约束的 Distributionally Robust Optimization 问题，该方法适用于非凸和凸损失函数，并具有更高的竞争 - ICML深度学习中基于 NDCG 替代函数的大规模随机优化及证明收敛性
本文提出了一种优化排序度量 NDCG（即归一化折扣累计增益）和其变种方法的方法，包括创新的组成式方法和双层组成式优化问题，以及利用初始热身和停止梯度算子的实用策略。该方法使用可证明收敛保证的有效随机算法，并通过多个数据集上的实验，展示了在 - 多任务随机双层优化的随机降方差方法
本文提出了快速随机化算法来解决非凸随机双层优化问题，在 Lipschitz 连续条件下建立了单一下层问题和具有 $m>1$ 个下层问题（多任务 SBO）的非凸 SBO 的样本复杂度，以及在梯度主导函数下的更快收敛结果。
- 复合和匿名反馈多臂赌博机的自适应算法
本文研究使用复合和匿名反馈的多臂老虎机问题，提出适应性算法，解决了没有先验关于奖励间隔大小的信息的问题，并且进行了基于真实数据集的模拟实验，结果表明我们的算法胜过现有的基准算法。
- 决策依赖分布的随机优化
本文的研究内容是针对随机优化问题中在决策变量变化时数据分布的变化所导致的问题提出了解决方案，即通过基于静态分布的最优决策来解决。同时，为了提高算法效率，研究者将典型的随机优化算法应用在了这种问题上，并提供了收敛性保证和性能评估，最终提出了增 - 寻找非光滑非凸函数的驻点的复杂度
本文介绍了一种针对非光滑、非凸函数的最新方法，通过概率论的方法实现了解决 ReLU 神经网络参数调整中的复杂问题的方法，其中提出的梯度算法能够使结果的准确度近似于一阶算法，并在距离解决方案的距离 delta 的范围内，得出广义梯度与解决方案 - ICML非凸优化的改进零阶方差约减算法及分析
本文介绍了两种零阶随机算法的优化和改进，其中一种通过新的 ZO-SVRG-Coord-Rand 算法和分析结果发现，比现有的同类算法以及 ZO-GD 和 ZO-SGD 更为优秀，另一种通过新的 ZO-SPIDER-Coord 算法有效降低了 - 正则化对偶平均的扩展及其动态
通过提出广义正则化对偶平均（gRDA）算法，该算法首次推导了在线 l1 惩罚问题的渐近分布，并开发了在线稀疏线性回归和在线稀疏主成分分析的统计推断理论，以及进行了广泛的数值分析。
- 使用几何步长衰减的随机算法对锐函数具有线性收敛性
研究了通过几何步长递减法 (schedule) 本文给出了新的理论保证，以适应近现代的复杂非凸统计学习问题，其中利用所得结论，分别在高斯噪声模型和重尾分布下，分析了相位恢复和盲去卷积两个统计学任务，并取得了最优保证。
- 统一动量的加权 AdaGrad 算法
通过引入重加权 AdaGrad 联合动量，AdaUSM 在解决难以收敛的随机问题时，其带权高斯平均符合实时梯度下降法 (SGD) 和 AdaGrad 的学习率下降速度，同时还能实现 SGD 动量和 Nesterov 学习率全方位的整合。
- 熵正则化最优输运问题的贪婪随机算法
本论文研究基于熵罚函数的最优传输问题的随机算法，这些算法速度较快、实用，并且在数值实验中验证了它们相对于最优传输方法的优势。
- NIPS自适应贝叶斯采样与 Monte Carlo EM
该研究提出了一种新颖的学习从离散化动力学中保留某些能量函数的采样器中的质量矩阵的技术。采用以前的动态学习 Monte Carlo EM 框架中的采样步骤中使用的现有动力学，并使用一种新颖的在线技术在 M 步中学习质量矩阵。此外，还提出一种通 - 逃离近乎线性时间的鞍点的一阶随机算法
本文提供了一种新的噪声加入技术的视角，即将噪声添加到一阶信息中可以帮助从 Hessian 矩阵中提取负曲率，并通过分析一个简单的一阶过程提供了此视角的正式推理，然后提出了一种基于此技术和现有算法的一阶随机算法，实现了以几乎线性的时间复杂度（ - 非光滑非凸优化的快速随机方法
本文研究随机算法优化非凸、非光滑的有限和问题。针对此问题，本文提出快速的随机算法，可获得常数迷你批量的收敛性。本文还使用这些算法的变种，证明了比批量近端梯度下降更快的收敛性，并在非凸、非光滑函数的一个子类中证明全局线性收敛率。
- KDD量化问题的在线优化方法
本研究提出了用于优化量化特定的性能参数的首批在线随机算法，其对于多变量优化的理论具有最优的收敛性，并通过实验验证，相对于现有的算法，能够更好地对性能参数进行优化。
- 随机深度学习算法的集成鲁棒性和泛化能力
本研究探讨深度学习算法为何能很好地泛化，进一步提出了针对假设强度的鲁棒性方法 —— 集成鲁棒性，并发现只要随机算法对于对抗性扰动的敏感性受到训练样本均值的限制，它就能很好地泛化，而本文提供的大量模拟验证了集成鲁棒性和泛化能力之间的强相关性。
- 随机拟牛顿更新是线性收敛的矩阵求逆算法
研究发展了一类随机算法、其在矩阵反演、变量度量和大数据时代中的预处理等领域的应用，并成功实现并证明了块变量的几种拟牛顿法的随机版本，其中 AdaRBFGS 在大规模问题上表现卓越。