Sep, 2023

基于元素的 RSAV 算法用于无约束优化问题

PDF
TL;DR我们提出了一种新的优化算法，元素级放松标量辅助变量（E-RSAV），它满足无条件能量耗散定律，并展现了修改后能量与原能量之间的改进对齐。我们的算法在凸面设定中具有线性收敛的严格证明。此外，我们还提出了一种简单的加速算法，在一元情况下将线性收敛速度提高到超线性。我们还提议了一种具有斯蒂芬森步长的自适应版本的 E-RSAV。通过充分的数值实验验证了我们算法的鲁棒性和快速收敛性。
发现论文，激发创造
  • 一种用于凸优化的统一方差降低加速梯度方法

    提出了 VAriance-Reduced Accelerated Gradient 算法来解决求解光滑凸有限和问题，该算法具有良好的收敛性能并且可以用于求解随机有限和问题。

    May, 2019

  • 任意采样的 L-SVRG 和 L-Katyusha

    本篇研究提出了一种新的基于方差约减方法的优化算法，并使用预期平滑性条件来上界随机梯度估计的方差，以便于处理任意采样方案和非凸情况，此外还介绍了新的重要性采样，以在预期微型批量大小处实现线性加速，并建立期望平滑性参数与期望可分离过估计的联系，从而利用数据稀疏性。

    Jun, 2019

  • 使用半定规划加速随机方差减少的耗散理论：SVRG 和 Katyusha 的统一分析

    运用耗散理论对两种方差降低算法 (SVRG 和 Katyusha) 进行新的解释，从能量守恒的角度提供物理图像化的直观理解，将这种新视角的工具用于捕捉 SVRG 等方法的特性，以进行收敛性分析。

    Jun, 2018

  • 基于平均二阶相似性的随机分布式优化：算法与分析

    本文研究了具有 n 个客户机的有限和分布式优化问题，针对流行的 δ- 相似性条件和 μ- 强凸性，提出了 SVRS 和 AccSVRS 两种新算法，其通信复杂度分别为 O (n+√(nδ/μ) ) 和 O (n+ n^(3/4)√(δ/μ) )，并显示了接近匹配的下界以验证其紧密性。

    Apr, 2023

  • 通过随机化价值函数实现泛化和探索

    本文提出了一种新的 RL 算法 RLSVI，针对线性参数化的价值函数进行探索和泛化，相较于 Boltzmann 或 epsilon-greedy 探索，RLSVI 实现了显著的效率提高，并在 tabula rasa 的学习环境下展现出接近最优的表现，研究表明随机化的价值函数是解决增强学习中有效探索和泛化的关键所在。

    Feb, 2014

  • 零阶黎曼平均随机逼近算法

    我们提出了用于 Riemann 流形上的随机优化的零阶 Riemannian Averaging Stochastic Approximation (Zo-RASA) 算法。使用一次采样或常阶批次，在每次迭代中我们证明 Zo-RASA 实现了生成 ε- 逼近的一阶稳定解的最佳样本复杂度。我们的方法采用了 Riemannian 移动平均随机梯度估计器和一种新的 Riemannian-Lyapunov 分析技术来进行收敛分析。通过使用回归和矢量传输而不是指数映射和平行传输，我们提高了算法的实用性，从而降低了每次迭代的复杂性。此外，我们引入了一种新的几何条件，可用于限制第二基本形式的流形，从而可以对用矢量传输逼近平行传输提供新的误差界限。

    Sep, 2023

  • 基于熵值风险价值的投资组合优化

    本研究介绍了熵价值风险（EVaR）及其在投资组合优化中的应用，结果表明该方法在计算上更加高效，且在大样本下表现优于条件价值风险（CVaR）方法。

    Aug, 2017

  • ASVRG: 加速近端 SVRG

    本论文提出了一种加速的近端随机方差减少梯度（ASVRG）方法，它具有一种简单而有效的动量加速技巧，并证明在强凸和非强凸目标函数上都可以实现最佳已知的 oracle 复杂度。同时将 ASVRG 扩展到 mini-batch 基础上，并证明了理论结果，表明 ASVRG 的性能与现有的随机方法相当甚至更好。

    Oct, 2018

  • 带减少方差的 Riemannian 随机拟牛顿算法及其收敛性分析

    本文提出了一种具有优越性能的 Riemannian 随机拟牛顿算法，以减少大量但有限的损失函数的平均值，在不确定性的情况下实现了加、减、平均多个梯度，并在消去和向量传输术语下，对非凸和收缩凸函数进行了收敛性分析，并在对称正定流形的 Karcher 平均值计算以及 Grassmann 流形的低秩矩阵完成方面进行了评估与实验，均表明该算法胜过当前最先进的批量和随机梯度算法。

    Mar, 2017

  • 随机优化的算法与功能或期望约束

    本文介绍了两种新型随机逼近算法 —— 协作随机逼近算法（CSA）和协作随机参数逼近算法（CSPA），分别用于处理决策变量约束和问题参数约束的期望函数最小化问题，证明了它们实现了最优收敛率以及不需要使用对偶变量迭代。

    Apr, 2016