一类针对时变凸优化的预测 - 纠正方法

Sep, 2015

一类针对时变凸优化的预测 - 纠正方法

A Class of Prediction-Correction Methods for Time-Varying Convex Optimization

Andrea Simonetto, Aryan Mokhtari, Alec Koppel, Geert Leus, Alejandro Ribeiro

TL;DR本文提出一种基于预测和修正步骤的算法，采用离散时间采样方案，在每个时间步长采样一次问题数据，以找到和跟踪解轨迹，用于无约束凸优化问题，并且在某些情况下，渐近误差仅为 O（h ^ 2），大大优于梯度校正步骤仅误差为 O（h）的现有技术。

Abstract

This paper considers unconstrained convex optimization problems with time-varying objective functions. We propose algorithms with a discrete time-sampling scheme to find and track the solution trajectory based on

convex optimization time-varying objective functions trajectory tracking gradient steps newton steps

发现论文，激发创造

基于预测校正的内点法求解时变凸优化

本文提出了一种使用对数障碍惩罚函数的内点法解决具有时变目标和约束函数的凸优化问题的方法，并提出了一种能够跟踪（时变）最优解的连续时间动力系统来确保其全局渐近收敛于指数速度的最优解。

Aug, 2016

渐进分布转移下的随机优化预测校正算法

本文针对机器学习中涉及到的时间变化的随机优化问题，以及其在离散时间的解法中存在的连续性问题，提出了基于预测 - 校正算法的优化方法，并给出了理论与实验证明，相较于不使用该算法的其他方法，本文提出的算法能更好地利用连续过程，提高最优解的准确性和鲁棒性。

May, 2022

时变约束在线凸优化

本文研究了具有时间变化的约束条件的在线凸优化问题，并提出了一种算法，其收敛性具有一定的时间复杂度，并且可以在没有先验知识的情况下达到无偏的最优解。

Feb, 2017

分布式在线学习的优化梯度跟踪

本文提出了一种基于广义梯度跟踪（GGT）框架的去中心化在线学习算法，并使用新的半定编程分析理论对其性能进行了理论分析和优化，进而得到实际数据集上的优异表现。

Jun, 2023

流式凸成本的一阶动态优化

本文提出了一组用于解决具有时变流成本函数的一类凸优化问题的新型优化算法，并开发了一种追踪具有有界误差的最优解的方法，与现有结果不同，我们的算法仅使用成本函数的一阶导数，从而使其在处理时变成本优化时具有计算效率，通过解决一个模型预测控制问题作为凸优化问题，证明了我们的结果。

Oct, 2023

基于梯度算法的平滑在线凸优化中的预测利用

本研究考虑了具有时变阶段成本和附加切换成本的在线凸优化问题，提出了一种名为 Receding Horizon Inexact Gradient (RHIG) 的基于梯度的在线算法来改善其性能，该算法只考虑最多 $W$ 步预测，以避免长期预测误差对在线性能的影响，并将其应用于随机预测误差模型和四轴飞行器跟踪问题中进行了数值测试。

Nov, 2020

关于利用方差缩减方法对于随机连续环境下的时差学习进行修正

本文研究了使用时差学习算法评估连续时间进程的策略评估问题，并根据随机微分方程的时间离散化来学习连续值函数。通过为差分学习提供零均值修正，我们提出了一种鲁棒的算法，包括两种算法：一种是基于模型的算法，另一种是基于无模型的算法，其收敛性得到了证明。此外，该方法还可用于机器学习中求解非发散二阶椭圆方程的问题。

Feb, 2022

关于预测有界时间序列时跟踪变化边界的研究

我们考虑一个新的框架，其中一个连续但有界的随机变量具有随时间变化的未观察到的边界，并在有界随机变量的分布的参数上考虑边界。我们引入了扩展对数似然估计，并设计算法通过在线最大似然估计来跟踪边界。由于所得到的优化问题不是凸的，我们利用最近关于凸优化的规范化梯度下降（NGD）的理论结果，最终导出在线规范化梯度下降算法。我们基于仿真研究和实际风电功率预测问题说明和讨论了我们方法的工作原理。

Jun, 2023

光滑非线性 TD 学习的单时间尺度随机非凸凹优化

本文介绍了两种单时间步单循环算法，分别通过动量和方差约束提高了非凸强凹随机优化问题的收敛速度，降低了数据采样量，同时在理论上证明了算法的收敛性和收敛速度。

Aug, 2020

Newton Sketch：一种具有线性二次收敛率的线性时间优化算法

该研究提出了一种随机化的二阶优化方法 ——Newton Sketch，使用随机投影或子采样 Hessian 实现近似牛顿步。对于自共轭函数，该算法证明具有超线性收敛和指数高概率，与条件数和相关问题独立的收敛和复杂度保证。对于适当的初始化，即使在没有自共轭的情况下，也可以保证类似的保证对于强凸和光滑的目标。我们还描述了将我们的方法扩展到具有自共轭屏障的凸约束程序。我们讨论和说明了其应用于线性程序，带有凸约束的二次程序，逻辑回归和其他广义线性模型以及半定规划的扩展问题。

May, 2015