我们提出了基于顺序样本平均逼近（VISA）的变分推断方法，用于处理基于数值模拟的计算密集型模型。VISA 通过使用一系列样本平均逼近，在一个信任区域内计算合理，从而能够在多个梯度步骤中重复使用模型评估，从而降低计算成本。我们在高维高斯分布、Lotka-Volterra 动力学和 Pickover 吸引子上进行实验，结果表明 VISA 能够以至少两倍的计算节约达到与标准的重要性加权前向 KL 变分推断相当的逼近精度。

Mar, 2024

本研究介绍了一种称为 “确定性 ADVI” 的方法来解决 MFVB 的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的 MFVB，确定性 ADVI 能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

Apr, 2023

本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

Jun, 2014

该研究提出了一种随机逐步上界最小化方法 (SSUM)，它能够最小化预期成本函数的近似集合平均值，同时可以应用于无线通信网络的线性收发器设计和在线字典学习，并通过使用 SSUM 框架将经典的随机梯度法 (SG) 扩展到最小化非光滑非凸目标函数的情况，并证明其收敛性。

Jul, 2013

研究了一个名为 NASA 的算法，在约束嵌套随机优化问题中，通过估计梯度来找到近似的稳定点，并使用特殊 Lyapunov 函数证明了该算法的样本复杂度为 O (1/ε²)，同时提出了简化版 NASA 算法来解决约束单层随机优化问题。

Dec, 2018

本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

Mar, 2022

TrustVI 是一种基于信任域优化和重新参数化技巧的快速二阶算法，用于黑盒变分推断。 它在每次迭代中提出并评估基于变分分布抽取的小批量的步骤。 该算法具有收敛到稳定点的可证明性。

Jun, 2017

本文研究了在重尾性、非 Lipschitz 性和 / 或高维度下解决凸随机规划问题中样本平均逼近（SAA）及其简单变形，即正则化 SAA（RSAA）的样本复杂度。通过三组结果，论文表明 (R) SAA 在目标函数不一定是 Lipschitz 的情况下，且底层分布仅在（近）最优解处具有一些有界的中心矩时仍然有效。当 SP 的目标函数是平滑项和 Lipschitz 项的和时，(R) SAA 的样本复杂度与可行域的任何复杂性度量（如覆盖数）完全独立。此外，本文阐明了 (R) SAA 在与维度 d 相关时的样本复杂度，当底层分布的第 p (p≥2) 个中心矩有界时，在三个结构性假设中，所需样本量的增长速率不会超过 O (p d^(2/p))，即使 p≤q/(q-1) 也成立。这些新结果与 SAA 典型的随维度 d 多项式增长的样本复杂度相异。

Jan, 2024

通过提出一种新的 SAGA 变体，并构建新的随机 Lyapunov 函数，我们展示了一种通用和灵活的方法，可用于训练监督学习模型中极大数量的平滑函数之和的平均值的最小化问题，这种方法可以包括任意的重要性抽样和小批量处理方法，并展示了该方法的迭代复杂度分析和平滑和强凸情形下的线性收敛率，从而在对于有限总和问题的原始 / 对偶方法的复杂性的理解上迈出了重要一步。

Jan, 2019

本文提出了一种基于广义 Moreau 信封的平滑 Lyapunov 函数方法，使用不同的步长展示了其在含噪声的固定点方程求解中的有限样本误差界，并将其应用于强化学习中的 V-trace 算法和 Q-learning，获得了现有最先进的结果，且收敛边界仅在状态空间大小上具有对数依赖。

Feb, 2020