- 双方差异降低：无需一阶梯度的复合优化问题的平滑技巧
零阶局部双重方差约减（ZPDVR）方法利用平均技巧来减少采样方差和坐标方差，其在复合优化问题中通过随机梯度估计调用随机零阶神谕（SZO）的期望次数为 O (1) 每次迭代，以及在强凸光滑环境中实现了最优的 O (d (n+κ) log (1 - 用于调优语言模型的方差减小型零阶方法
利用内存高效的零阶优化方法和方差缩减技术，提出了一种内存高效的零阶随机方差缩减梯度（MeZO-SVRG）的 LM 微调方法，它在多个任务中都表现出卓越的稳定性和收敛性，且减少了存储占用。
- 提高在线实验效率的比例指标方差减少
在这项工作中，我们成功地将方差缩减技术应用于一个大规模的短视频平台 ShareChat 上的比率指标。我们的实证结果表明，在 77% 的情况下，我们可以提高 A/B 测试的置信水平，或者以 30% 的数据点减少保持相同的置信水平。重要的是， - 一种高效的基于顺序神经后验估计的无似然贝叶斯推断方法
SNPE-B 是一种用于模拟为基础模型的顺序神经后验估计技术，本文提出了改进的方法，包括使用自适应校准核的集中损失函数和方差降低技术，以提高数据效率并加快学习过程。实验结果表明，我们的方法在某些任务上表现优于原始方法和其他竞争方法。
- 随机目标和约束下非线性规划的单循环算法复杂性
分析具有函数等式约束的非凸优化问题的单环二次罚函数和增广 Lagrange 算法的复杂性，通过三个不同情况的考虑得出具体复杂度，使用方差减少技术改进复杂度，这些算法为第一种和第三种情况的首个 “单环” 类型算法并且仍然具有最佳已知复杂度保证 - 随机近端点算法的方差降低技术
在有限和求和最小化的背景下，方差缩减技术被广泛应用于改进现有随机梯度方法的性能，本研究首次提出了针对随机近端点算法的方差缩减技术研究，介绍了针对平滑凸函数的 SVRG、SAGA 和其变种的随机近端版本，并且提供了迭代和目标函数值的多个收敛结 - 无投影方法用于具有凸下层问题的随机简单双层优化
我们研究了一类随机二级优化问题，引入了一种新颖的随机二级优化方法，通过随机切割平面局部逼近下层问题的解集，并运行带有方差减少技术的条件梯度更新来控制由于使用随机梯度引起的误差。在上层函数为凸函数的情况下，我们的方法需要最多 $\tilde - 神经网络混合态重建的经验样本复杂度
这项研究检查了不同的量子状态重构技术的性能，并证明了可以通过应用方差减少技术来系统地减少算法的量子资源需求。作者比较了两种主要的神经量子态编码方法，即神经密度算符和正算子值测量表示，并阐述了它们在混杂度不同的情况下表现出不同的性能。
- 去偏置条件随机优化
本文提出了一种新的随机外推技术来有效减少样本平均渐变在条件随机优化问题中的偏差，并且结合方差降低技术在非凸光滑目标中能够显著地提高样本复杂度。本文还为 CSO 的有限和变体开发了新的算法，最后提出我们的去偏差技术可能是适用于其他随机优化问题 - AdaBest: 通过自适应偏差估计实现联邦学习中最小化客户端漂移
本文提出了一种自适应算法，用于准确估计联邦学习中客户端间的漂移，并通过约束漂移估计的范数使联邦学习更实际，并实验结果表明所提出的算法在各种联邦学习基准中更快达到收敛并实现更高的准确性。
- 基于量化 Langevin 随机动力学的贝叶斯联邦学习
本文讨论了在联邦学习框架下，通过提出一种新的联邦马尔科夫链蒙特卡罗算法（Quantised Langevin Stochastic Dynamics），并结合梯度压缩和方差缩减技术，优化了性能。给出了该算法的收敛性保证并应用于多种贝叶斯联邦 - 深度强化学习控制排队网络
本论文研究了如何将新型高级策略梯度方法运用于具有无限状态空间、无界代价和长期平均代价目标的马尔可夫决策问题，提出了一种基于距离价值函数估计的 Proximal Policy Optimization 算法，并使用方差抑制技术解决了采样带来的 - 通过规则化的定向学习实现更高效的离线策略评估
本文介绍了基于因果推断的目标最大似然估计原理所提出的新型双重稳健的评估方法和多种方差减少技术，能够在多种强化学习环境和各种模型规范级别下比现有评估方法都能表现出更好的性能
- 非凸随机优化下的下限界
采用随机一阶方法找到梯度范数不超过 ε 的 ε- 稳定点的复杂度下界，使用具有有界方差的无偏随机梯度预言机访问光滑但可能非凸函数的一种模型，证明任何算法在最坏情况下需要至少 ε^-4 个查询才能找到 ε- 稳定点。对于噪声梯度估计满足均方光 - AAAI当并非所有操作都可用时的强化学习
本文介绍了基于马尔可夫决策过程（MDP）中存在确定性可选动作集合的局限性，提出了一种新的基于随机动作集合的马尔可夫决策过程（SAS-MDP）模型，并针对旧 RL 算法在 SAS-MDP 中可能存在的发散问题，提出了包含独特的方差缩减技术的新 - 稳定 SVRG: 非凸优化的简单方差缩减
该研究使用改进的 SVRG 算法创新性地找到一个非凸函数的二阶稳定点，并提出了使用稳定性 SVRG 算法的方法。
- AAAI快速无梯度近端随机非凸非光滑优化方法
本文提出了两种新的零阶近端随机优化算法 ZO-ProxSVRG 和 ZO-ProxSAGA，它们利用了 SVRG 和 SAGA 的方差缩减技术，并证明了它们具有线性 $O (rac {1}{T})$ 的收敛速度，实验结果表明相比于现有的零阶 - 适应性随机方差减少的子采样牛顿方法与立方正则化
本文介绍了一种应用于非凸优化的三次正则化牛顿法，并提出了自适应方差调整的方案，通过对随机矩阵的三到四阶矩的分析来实现二阶保证，进而降低黑塞矩阵样本的复杂度。
- ICLR减少方差的深度强化学习奖励估计
该研究提出使用奖励估算方法来应对机器人学习中复杂任务中可能出现的损坏或随机奖励信号，这种方法能够提高算法的稳定性和性能表现，并且应用范围广泛。
- 随机 Frank-Wolfe 非凸优化方法
本文研究非凸随机优化和有限和优化问题中的 Frank-Wolfe 方法，并提出基于方差约减技术的新型非凸 Frank-Wolfe 方法，证明了其具有比传统方法更快的收敛速度。