研究一种基于条件风险价值(CVaR)的风险规避统计学习框架,提出了基于随机梯度下降的算法。对于凸和 Lipschitz 的损失函数,该算法收敛到最优 CVaR,而对于非凸和平滑的损失函数,该算法在 CVaR 上的泛化界表现良好。通过在各种机器学习任务上进行数值实验,证明了该算法有效地将 CVaR 最小化。
Feb, 2020
该论文主要研究了分布鲁棒优化(Distributionally Robust Optimization,DRO)中的约束问题,针对非凸损失函数提出了一种随机算法并进行了性能分析,证明了该算法能够找到一个满足 ε- 稳定点,而且计算复杂度为 O (ε^(-3k_*-5)),此外,数值结果表明该方法优于现有方法。
Apr, 2024
使用分布稳健优化(DRO)问题中的谱风险不确定性集和 $f$- 散度惩罚,我们构建了一个包括常见风险敏感学习目标的模型。我们提出了 Prospect 算法,只需要调整一个学习率超参数,证明其对于平滑正则化损失具有线性收敛性。与先前的算法相比,前者要求调整多个超参数或由于有偏梯度估计或不充分的正则化而可能无法收敛。在实证上,我们展示了在跨表格、视觉和语言领域的分布偏移和公平性基准上,Prospect 算法的收敛速度可以比随机梯度和随机鞍点方法快 2-3 倍。
Oct, 2023
本研究提出了一种基于分布优化框架来优化风险度量的方法,并通过使用经验分布的浓度界从而进行两个评估方案,进一步提高了数据的准确度。
Jun, 2023
在机器学习应用中,我们提出了一种风险规避的训练模型的方法,它通过优化在最难的样本上的表现来提高模型的稳定性和可预测性,关键是利用分布式随机优化算法和结构化行列式点过程进行大规模的学习任务。
Oct, 2019
本文研究在马尔可夫决策过程中的均值 - CVaR 优化问题,并提出了策略梯度和演员评论算法,以在局部风险敏感的最优策略中更新策略参数,解决了一个最优停止问题。
Jun, 2014
本文提出了一种基于条件风险价值方法的学习选项的方法,旨在处理具有不确定性的模型参数,以实现在平均和最坏情况下都能良好运作的选项,通过实验评估表明该方法在多关节机器人控制任务中获得了较好的表现。
May, 2019
基于条件期望的公式,我们提出了一种新的基于采样的 CVaR 梯度估计器,类似于似然比方法。我们分析了估计器的偏差,并证明了相应随机梯度下降算法的收敛性,使 CVaR 优化可以在新的领域应用。例如,我们考虑一个强化学习应用,为 Tetris 游戏学习风险敏感的控制器。
Apr, 2014
我们提出了一种随机近端线性方法的变体,用于最小化条件风险价值(CVaR)目标,该方法在机器学习中的风险测量中具有广泛应用。我们将一般的收敛定理应用于该模型,并通过实验证明,它比随机次梯度方法更好地利用了目标的结构,并且适应了损失函数的缩放,这使得调整更容易。
May, 2023
本文研究在线优化中的非稳态环境,以便决策者能够适应变化并提高性能。我们采用最小化风险敏感目标函数的策略,使用条件风险价值 (CVaR) 作为风险度量,并使用零阶优化方法来估计 CVaR 梯度。理论结果表明,我们设计的学习算法在凸和强凸函数上能够以高概率实现子线性动态遗憾。同时,数值实验在停车场动态定价方面展示了所设计算法的有效性。