用连续和离散变量解决因式化马尔可夫决策过程

Jul, 2012

用连续和离散变量解决因式化马尔可夫决策过程

Solving Factored MDPs with Continuous and Discrete Variables

Carlos E. Guestrin, Milos Hauskrecht, Branislav Kveton

TL;DR我们提出了一个框架来处理离散和连续变量的混合模型的随机规划问题，使用混合马尔可夫决策过程的方法，通过线性规划近似来解决这些问题，并遵循混合动态贝叶斯网络的表示形式，已在一系列控制问题中进行了实验。

Abstract

Although many real-world stochastic planning problems are more naturally formulated by hybrid models with both discrete and continuous variables, current state-of-the-art methods cannot adequately address these problems. We present the first framework that can exploit problem structure

hybrid models markov decision processes continuous and discrete variables collaborative multiagent settings linear program approximation

发现论文，激发创造

使用混合状态和动作变量解决分解的马尔可夫决策过程

本文介绍了一种可对连续和离散变量的大决策问题进行紧凑表示的混合分解 Markov 决策过程（MDP）模型和一种新的混合近似线性规划（HALP）框架，HALP 的核心思想是通过一组基函数的线性组合来近似最优价值函数，并通过线性规划来优化其权重，并证明其在多种混合优化问题中的可扩展潜力。

Sep, 2011

基于因子的 MDP 高效解算算法

本文提出了两种近似解决因子化马尔可夫决策过程的算法，利用基函数表示近似值函数，其中每个基函数仅涉及一个小的子集，使用类似于变量消除的线性规划分解技术将指数级的 LP 规模缩小到多项式级别。我们的动态规划算法使用 max-norm 近似技术，对于超过 10^40 个状态的问题，我们的算法展示了有希望的可扩展性，并将其与现有的最新技术方法进行了比较，在某些问题上计算时间得到了指数级的提升。

Jun, 2011

离散与连续状态 MDP 的符号动态规划

本文介绍了符号动态规划（SDP）技术的扩展，提供了一种能够处理离散和连续状态的马尔可夫决策过程（DC-MDP）的最优解决方案，在 XADD 中引入约束基剪枝以提高效率。SDP 与 XADD 用于声明性问题的自动规划，从而实现在 DC-MDP 的线性和非线性函数中生成最优解决方案。

Feb, 2012

离散连续平滑与映射

DC-SAM 是一种计算机图形模型求解库，能够在离散和连续水平上寻找最大后验估计，应用于机器人感知应用中包括鲁棒的姿态图优化和基于对象的建图与定位，通过在离散和连续变量之间交替优化实现近似推理。

Apr, 2022

大规模马尔可夫决策问题的线性规划

本文考虑了控制具有大状态空间的马尔可夫决策过程以最小化平均成本的问题，并使用线性规划和两种方法，即基于随机凸优化和基于约束采样的方法，将性能提高到与在低维策略类中的任何策略相比的最佳水平。

Feb, 2014

有界最优探索在 MDP 中的应用

本文提出简单算法来解决在短期内实现理论驱动的探索方法和实际需求之间的纠葛，并通过理论分析和数字示例展示所提出的放宽条件的好处，同时维持任何时候的误差边界和平均损失边界，并且适用于贝叶斯和非贝叶斯方法。

Apr, 2016

分解型 MDPs 的策略迭代

该论文提出了一种新的价值确定方法，借助简单的闭合计算来直接计算价值函数的分解逼近，以及一个基于此方法的策略迭代过程。

Jan, 2013

混合变量问题的混合强化学习框架

通过结合强化学习和贝叶斯优化技术，我们提出了一个混合强化学习框架，以解决由离散和连续变量构成的优化问题。我们的方法在合成函数和实际机器学习超参数调优任务中均超越了传统强化学习、随机搜索和独立的贝叶斯优化方法，在有效性和效率方面表现出色。

May, 2024

混合空间上的贝叶斯优化

本文提出了一种新颖的混合贝叶斯优化方法，通过扩散核对离散和连续变量建模，证明了其拥有普适逼近性质，并在合成数据和六个不同领域的实验中证明了其显著优于现有方法的优越性。

Jun, 2021

层级混合建模：柔性工具使用

基于活跃推理的混合模型实现动态规划和同步行为，将层次化地表示其他代理和对象，扩展关于控制作为推理的先前工作并提出深度强化学习的替代方向。

Feb, 2024