KDDJun, 2013

使用外部事件和可累计奖励解决关系型 MDPs 问题

PDF
TL;DR本文介绍了一种符号规划算法，该算法是面向以对象为中心、独立的外部事件和捕捉库存控制等问题的服务域的，该算法具有明确的关于外部事件的关系 MDP 的性能保证，在某些技术条件下，我们的规划算法提供了关于最优值函数的单调下界。为了支持这种算法，我们使用广义一阶决策图作为知识表示，提出了新颖的评估和约简技术。我们的规划算法使用一组焦点状态，这组状态作为一个训练集，简化和近似符号解，并且可以被视为执行规划的学习。一项初步的实验评估证明了这种方法的有效性。
发现论文，激发创造
  • 带外部状态和奖励的强化学习

    本文提出了一种将 MDP 分解为外源 Markov 奖励过程和内源 Markov 决策过程的方法，以优化内源的奖励，以解决外源状态变量和奖励对 MDP 强化学习造成的干扰，并给出了在线发现状态空间中混合外源和内源状态的算法，改进了强化学习的效率。

    Mar, 2023

  • 离散与连续状态 MDP 的符号动态规划

    本文介绍了符号动态规划（SDP）技术的扩展，提供了一种能够处理离散和连续状态的马尔可夫决策过程（DC-MDP）的最优解决方案，在 XADD 中引入约束基剪枝以提高效率。SDP 与 XADD 用于声明性问题的自动规划，从而实现在 DC-MDP 的线性和非线性函数中生成最优解决方案。

    Feb, 2012

  • 用多步反向动力学方法通过外界干扰证明的强化学习

    该论文研究了如何在处理高维观测数据时，通过引入先前的表示学习方法从原始观测数据中提取内生潜在状态信息，并在存在外生噪声时进行最优规划。提出了 EX-BMDP 模型，开展了潜在状态发现研究，并介绍了基于预测路径消除算法（PPE）的算法，对于近似确定性的内生状态动态具有很好的采样和计算效率。实验表明该方法具有良好的效果。

    Oct, 2021

  • 关系马尔可夫决策过程的一阶决策图

    研究证明，使用新的紧凑表示 ——FODD，可以解决 RMDPs，通过 FODDs 操作开发价值迭代算法，并证明该算法完全收敛且具有独立于领域大小或实例化的最佳策略。

    Oct, 2011

  • 一阶 MDP 的近似线性规划

    本文提出了一种基于线性规划的解决方法，通过将价值函数在一组一阶基函数的线性表示中计算适当的权值，解决了一阶马尔科夫决策过程中与特定领域实例无关的解决方案。并将该解决方法应用于电梯调度方面，具有丰富的特征空间和多标准加性奖励，证明了其优于许多直观、启发式指导政策。

    Jul, 2012

  • 符号网络：针对关系马尔可夫过程的广义神经策略

    通过训练一组共享参数的 SymNet 模型，将 RDDL 的关系建模与神经网络结合，达到单次前向传播即可获得包括实例无关的策略和值函数在内的更加复杂的泛化策略，优于随机和现有策略，适用于九个 IPP C 领域。

    Feb, 2020

  • 线性可行最优状态价值函数下的 MDP 查询效率规划

    本文考虑了使用生成模型进行有限轮次的 MDP 本地规划，并提出了一种名为 TensorPlan 算法的方法，在最优价值函数符合线性可实现性的情况下，能够以 poly ((dH/δ) 的复杂度找到相对于任何线性可实现性且存在界限参数的确定性策略的 δ 最优策略；此外，本文还将上限拓展到了近可实现性情况和无限时域折扣设置。

    Feb, 2021

  • 利用一阶回归进行归纳策略选择

    我们研究了基于关系型马尔可夫决策过程的最优泛化策略计算问题，提出了一种结合归纳技术和符号动态规划方法的方法，以自动生成与问题领域相关的假设语言作为归纳求解器的输入来回避复杂的符号动态规划推理。

    Jul, 2012

  • 平均奖励马尔科夫决策过程的学习和规划

    本研究提出了一种基于平均报酬 MDPs 的学习和规划算法，其中包括第一种无参考状态的普遍证明收敛的无模型控制算法、第一个证明收敛的无政策自由预测算法，以及第一个离线学习算法，其收敛于实际值函数而不是值函数增加一个偏移量。在使用时间差错错误而不是常规错误更新平均报酬估计时，我们的所有算法都基于此。

    Jun, 2020

  • 强化学习中发现和消除外生状态变量和奖励

    本文提出了两个算法来发现外生变量，并证明了蒙特卡洛策略评估在内生 MDP 上的加速。结果显示这些算法是实用的，并且可以显著提高强化学习的速度。

    Jun, 2018