Jun, 2014

光滑参数化系统的贝叶斯最优控制：懒惰后验采样算法

PDF
TL;DR本文研究了贝叶斯最优控制策略在平滑参数化马尔可夫决策问题中的应用，提出了一种基于后验采样的算法来缓解计算代价，并展示该算法在 Web 服务器控制应用中的高效性与稳定性。
bayesian optimal controlmarkov decision problemsposterior sampling methodcomputation tradeoffweb server control
发现论文，激发创造
  • 基于贝叶斯优化的鲁棒模型预测控制在模型参数不确定性下的应用

    提出了一种自适应优化方法，用于调整随机模型预测控制 (MPC) 的超参数，同时基于性能奖励估计转换模型参数的概率分布。用异方差噪声模型开发贝叶斯优化算法来处理超参数和动力学模型参数空间中的噪声变化。试验结果表明我们的方法可以得到更高的累积回报和更稳定的控制器。

    Mar, 2022

  • 大规模贝叶斯抽样的协方差控制自适应 Langevin 恒温器

    本文提出了一种基于 Langevin 恒温器的自适应协方差控制算法，通过有效地耗散依赖于参数的噪声来维持目标分布，从而实现在机器学习应用中相对于其他方案的大幅加速。

    Oct, 2015

  • 通过后验抽样学习优化

    本文采用一种简单的后验抽样算法来平衡探索和利用学习优化操作，称为 Thompson Sampling，理论上提出了后验抽样与 UCB 算法的联系，并提供了一个广泛适用且可以专门针对许多模型类进行特化的后验抽样贝叶斯遗憾界。

    Jan, 2013

  • 自适应贝叶斯优化在高精度运动系统中的应用

    在这项工作中，我们提出了一种基于 GoOSE 算法的实时纯数据驱动的自适应控制方法，用于在线调整低级控制器参数，从而处理性能和稳定性的要求，并通过修改负载和参考步长将其与插值约束优化方法进行比较，用于评估算法在半导体行业应用中实现的真实精密运动系统的性能。

    Apr, 2024

  • 自适应近似贝叶斯计算

    研究表明，基于真实重要性抽样的序贯技术可以应用于人口遗传学举例，以比较近似计算算法的其他版本，并提高了近似贝叶斯计算的效率和准确性。

    May, 2008

  • 计数无限状态空间马尔可夫决策过程的贝叶斯学习最优策略

    该研究提出了一种基于贝叶斯思想和汤普森抽样的算法来解决优化数量可数的马尔可夫决策过程的控制问题，在未知参数和固定先验分布的情况下，能够稳定地获得近似最优解，适用于诸如通信网络和计算系统等不确定动力系统以及一些数量可数的排队模型。

    Jun, 2023

  • 随机学习的 PAC-Bayesian 分析及其在随机梯度下降中的应用

    通过 PAC-Bayes 和算法稳定性的结合研究了随机梯度下降算法的泛化误差，提出了一种基于后验优化的自适应采样算法，并在基准数据集上进行评估。结果表明，相较于均匀采样，自适应采样既可以更快地降低经验风险，也可以提高样本外准确性。

    Sep, 2017

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • 一种基于增量采样的随机最优控制算法

    本文提出了一种名为增量马尔可夫决策过程（iMDP）的算法，该算法基于最近在确定性路径规划的马尔可夫链逼近方法和基于采样的算法的进展，用于计算一类连续时间、连续空间随机最优控制问题的最优控制策略，该算法通过状态空间的随机采样生成原问题的有限离散化序列，并且在计算过程中，能够以随时随地的方式更新控制策略。

    Feb, 2012

  • 控制置信成本

    我们开发了一种考虑推断计算成本的随机控制方法，结合了有效编码和高效控制的概念。研究发现，代理人通过在后验概率相对精度上增加内部成本来权衡总效用和任务性能，从而实现有效控制。通过研究线性二次高斯控制，我们发现代理人在不同任务需求下转换为一系列与旋转变换相关的次最优推断策略，每个策略都对世界的稳定性估计存在误差。这项工作为大脑和机器在高效但受计算限制的控制方面提供了新的合理计算基础。

    Jun, 2024