该研究探讨了一种最坏情况的方法来衡量随机系统性能分析中的模型误差敏感性,通过 Kullback-Leibler(KL)散度度量模型误差,并通过优化计算程序来计算最坏情况性能指标,通过创新的微小近似方法,得出了这些程序的最优值渐近展开式,展开式系数可以通过模拟计算,并从最坏情况模型的表示中派生而来,这些表示作为函数不动点方程组的定义。
Mar, 2013
本文提供了一种新颖的计算机辅助技术,用于系统地分析面向优化的一阶方法,并且与以往的工作相比,该方法特别适用于处理次线性收敛率和随机预言机。该技术依赖于半定规划和潜力函数,并允许同时获得算法行为的最坏情况保证,并帮助选择适当的参数以调整其最坏情况表现。
Feb, 2019
本文介绍了两种新的 Frank-Wolfe 算法变体,用于随机有限和最小化。这些方法在凸和非凸目标函数方面,都具有最佳的收敛保证。同时,本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度,可用于优化机器学习等领域中的结构约束问题。
Apr, 2023
该研究论文主要讨论了随机逼近算法在嘈杂测量、凸凹优化、强化学习以及马尔可夫逼近方面的应用,并且扩展了该算法以包含具有非零条件均值和 / 或无界条件方差的错误,从而证明了算法在这些情况下的收敛性,并计算了 “优化步长序列” 以最大化估计的收敛速率。
Dec, 2023
研究了一种在 Markovian 噪声下的非线性随机逼近算法,证明了其具有不同学习速率的有限样本收敛界限,并证明了其适用于 Q-learning 算法。
May, 2019
提出一种新的非参数假设检验框架,基于分布鲁棒优化,考虑接近经验分布的分布,旨在最小化最坏情况下的性能,具有较好的鲁棒性,应用于健康护理、在线变点检测和异常检测等领域,实验结果表明方法性能优越。
May, 2021
本文提出了一种称为 1-SFW 的新的随机 Frank-Wolfe 算法,通过设计一种新颖的无偏动量估计器,实现了使用每次迭代的单个样品来优化,而无需仔细调整批量大小、步长、学习速率和其他复杂的超参数,并在随机凸优化、随机 DR 亚模拟最大化问题和一般的非凸设置中达到了最优收敛率。
Oct, 2019
本文介绍了一种用于解决随机函数组合的凸优化问题的无偏梯度仿真算法,并将其与两个方差减少算法相结合,得出该算法基于无偏梯度仿真展现出令人满意的收敛性能,最后为两个随机函数组合优化问题应用了该算法:最大化 Cox 部分似然模型和训练条件随机场。
Nov, 2017
本文探讨了使用现代机器学习和统计学工具分析随机系统识别的有限样本复杂性,使用子空间识别算法和 N 个输出样本提供了系统参数估计误差的非渐近高概率上界。
Mar, 2019
本文提出了一种边际灵敏度模型,使用逆概率权重估计器构建置信区间,通过百分位自助法和广义极小 / 极大不等式来将这个难以处理的问题转化为线性分数规划问题,这个方法可以很有效地解决实际问题。