Apr, 2024

针对网络物理系统和机器人系统的随机在线优化

PDF
TL;DR我们提出了一种新颖的基于梯度的在线优化框架，用于解决在网络物理和机器人系统中经常出现的随机规划问题。我们的问题形式化考虑了模拟网络物理系统的约束条件，该系统通常具有连续的状态和动作空间，是非线性的，并且状态只被部分观测到。我们还在学习过程中将动力学的近似模型作为先验知识纳入其中，并表明即使是动力学的粗略估计也能显着改善算法的收敛性。我们的在线优化框架包括梯度下降和拟牛顿方法，并在非凸环境中对我们的算法进行了统一的收敛性分析。我们还研究了系统动力学建模误差对算法收敛速度的影响。最后，我们在柔性梁、四足行走机器人的仿真和乒乓球机器人的实际实验中评估了我们的算法。
发现论文，激发创造
  • 在线非随机控制入门

    本文介绍了一种新兴的控制理论，引入了在线非随机控制的概念，将凸优化和松弛优化技术应用于最优和鲁棒控制的传统场景，实现了可证明保障的新方法，使得控制的目标不再是静态指定的，而是在一定策略下取得低的遗憾值。

    Nov, 2022

  • 在线优化控制及仿射约束

    该论文研究了在线最优控制问题，提出了一种基于 OGD-BZ 算法的解决方案，并分析了该算法的策略遗憾问题。

    Oct, 2020

  • 在线堆叠伯格优化与非线性控制

    适应性代理、在线控制、后悔最小化、对抗性干扰、表现性预测是该研究论文的主要关键词，该论文提出了一个统一的算法框架，用于在预测和优化可能的代理响应空间中实现可计算的后悔最小化，同时说明了在各种情况下的的紧界限制以及应用实例。

    Jun, 2024

  • 基于非高斯不确定性的随机非线性机器人系统控制最小化

    该论文提出了一种针对非线性机器人系统中存在的概率不确定性和干扰的闭环控制问题的解决方案，并将控制器设计问题作为概率分布的统计量的优化问题来处理，以此来降低跟踪偏差，并通过与现有的概率控制方法的比较来证明其性能。

    Mar, 2023

  • 使用非线性系统理论学习带有收敛保证的优化方法

    我们提出了一个利用非线性系统理论填补演进中算法收敛性和鲁棒性分析的理论框架，可以自动化地优化学习到的算法，保证其设计上的收敛性。

    Mar, 2024

  • 在线线性二次控制

    我们研究了控制具有已知嘈杂动力学和对抗选择二次损失的线性时不变系统的问题，并提出了第一种在这种情况下保证 O（sqrt（T））遗憾的有效在线学习算法。我们的算法依赖于对系统稳态分布的新型 SDP 松弛。与以前提出的松弛相反，我们的 SDP 的可行解都对应于 “强稳定” 策略，这些策略混合到稳定状态的速度呈指数增长。

    Jun, 2018

  • 可分离随机逼近框架下的在线学习

    我们提出了一个基于分离随机逼近框架的在线学习算法，其中对于某些具有线性特性的模型参数，我们采用递归最小二乘（RLS）算法进行更新，然后根据更新后的线性参数，采用随机梯度法（SGD）更新非线性参数，该算法可以理解为一种随机逼近版块坐标梯度下降方法，已经在非凸情况下获得全局收敛性，数值实验表明，该方法提高了收敛速度并在与其他流行学习算法比较时产生更稳健的训练和测试性能，此外，我们的算法对学习速率不太敏感并且优于最近提出的 slimTrain 算法。

    May, 2023

  • 有约束的在线两阶段随机优化：具有（和不具有）预测的算法

    我们考虑了一个在线两阶段随机优化问题，有关于 T 个周期的长期约束。我们通过对抗学习算法开发了在线两阶段问题的在线算法，同时，我们的算法的遗憾界可以降低到嵌入对抗式学习算法的遗憾界。基于这个框架，在不同的设置下，我们得到了新的结果。

    Jan, 2024

  • 线性动力学的在线控制：基于数据驱动的方法

    该论文研究在线控制问题，通过使用单一无噪声轨迹计算干扰累积并通过在线梯度下降更新参数，提出了一种数据驱动的策略来减小控制器的后悔。

    Aug, 2023

  • 几乎必然受限凸优化

    我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。

    Jan, 2019