基于隐含参数马尔可夫决策过程的强健高效迁移学习

NIPSJun, 2017

基于隐含参数马尔可夫决策过程的强健高效迁移学习

Robust and Efficient Transfer Learning with Hidden-Parameter Markov Decision Processes

Taylor Killian, Samuel Daulton, George Konidaris, Finale Doshi-Velez

TL;DR我们引入了一个新的 HiP-MDP 隐藏参数马尔可夫决策过程的处理方式，它能够通过低维度的潜在嵌入来建模相关任务的家族。我们采用贝叶斯神经网络来替换原模型中的高斯过程，从而使推理更具可扩展性，我们正确地模拟了潜在参数和状态空间中的联合不确定性，并扩大了 HiP-MDP 的应用范围，可以应用于维度更高且具有更复杂动态的问题。

Abstract

We introduce a new formulation of the Hidden Parameter Markov Decision Process (hip-mdp), a framework for modeling families of related tasks using low-dimensional latent embeddings. Our new framework correctly mo

hip-mdp latent embeddings bayesian neural network inference complex dynamics

发现论文，激发创造

隐含参数的马尔科夫决策过程：半参数回归方法用于发现隐含任务参数

该论文介绍了一种名为隐藏参数马尔科夫决策过程 (HiP-MDP) 的框架，用于对控制应用中的不同动态系统进行参数化，并提出了一种半参数回归方法来学习其结构。在控制设置中，学习的 HiP-MDP 能够快速识别新任务实例的动态，使得智能体能够灵活适应任务的变化。

Aug, 2013

使用隐含参数马尔可夫决策过程进行患者变异的迁移学习

通过更新 HiP-MDP 框架并将其扩展到针对艾滋病治疗的个人化医学策略的更健壮的开发，解决由于生理变异而导致的患者对同一治疗方法产生不同的但相关的反应的问题。

Dec, 2016

通用隐含参数 MDPs：在少数试验中可转移的基于模型的强化学习

该研究论文提出了基于模型的强化学习模型（Model-based RL）的变种，称为广义隐参数马尔可夫决策过程（Generalized Hidden Parameter MDPs，GHP-MDPs），该模型结合了层次模型和潜变量，并且在多个任务与环境中实现了初步验证，具有高效的泛化和学习效率。

Feb, 2020

贝叶斯非参数隐马尔可夫半马尔可夫模型

本文提出了显式时长的分层狄利克雷过程隐半马可夫模型（HDP-HSMM），并开发了采样算法用于有效的后验推断，这个方法不仅可以为有限的贝叶斯 HSMM 提供新的采样方法，而且可以嵌入到更大的分层贝叶斯模型的采样器中，为贝叶斯推断提供另一种工具。

Mar, 2012

强健的马尔可夫决策流程即时学习

本文介绍了一种鲁棒的任意学习方法，该方法结合了贝叶斯推断模型和计算稳健策略的方法，以不确定性马尔科夫决策过程（uMDPs）为基础，并通过实验验证了该方法的有效性。

May, 2022

可配置马尔可夫决策过程

本文提出了一种新的框架 Configurable Markov Decision Processes (Conf-MDPs)，以建立环境参数配置与学习代理之间的交互模型，并通过 Safe Policy-Model Iteration (SPMI) 算法，共同自适应优化策略与环境配置，实验结果表明该方法对提高学习策略的性能有益。

Jun, 2018

层次概率模型的抽象 - 细化方法

本文介绍了一种通过层次化结构和抽象 - 细化循环来加速分析马尔科夫决策过程，针对重复部分具有局部影响的概率程序，将类似的子程序抽象成参数化模板，在需要时对其进行详细分析，从而缓解著名的状态空间爆炸问题。

Jun, 2022

一种自主决策系统的分层控制框架：HMDP 和 MPC 的整合

本文提出了一种全面的分层控制框架，用于机器人和自主系统中的自主决策。通过综合建模、设计问题的制定、控制设计和稳定性分析，提出了这种具有挑战性问题的综合设计过程和框架，并处理了连续系统动力学和离散马尔科夫决策过程在高层决策中的复杂相互作用。通过使用模型预测控制概念，提出了一个决策者设计方案，通过精心设计参与方案的关键要素，证明了所提出的自主决策方案的递归可行性和稳定性的保证，并将该框架应用于智能车辆的自主换道系统的开发。

Jan, 2024

具有相似性偏置转移的无限隐马尔可夫模型

本文介绍了一个对层级狄利克雷过程隐藏马尔可夫模型 (HDP-HMM) 的拓展，它可以编码关于状态转换更可能发生在 “相邻” 的状态之间的先验信息，并通过在状态空间上定义相似度函数和通过成对相似度缩放转移概率，从而在转移分布之间引入相关性。该模型的数据增强表示形式被提出来，作为马尔可夫跳跃过程，其中有些跳跃尝试失败，而成功的概率与源状态和目标状态之间的相似度成正比。这种增强实现条件共轭并且简单地允许使用 Gibbs 抽样器。我们在扬声器日化任务和使用四部合唱数据的 “和声分析” 任务以及几个合成数据集上对模型和推理方法进行了评估，并与现有模型进行了有利的比较。

Jul, 2017

使用强韧的隐马尔可夫模型自动识别驾驶行为模式

提出了一种新的鲁棒 HDP-HSMM（rHDP-HSMM）方法，用于减少冗余状态的数量，并改善模型估计的一致性。通过模拟研究和使用自然驾驶数据的案例研究来证明该方法在识别和推断驾驶操纵模式方面的有效性。

Nov, 2023