Jan, 2023

不确定系统最劣控制与学习的近似信息状态

PDF
TL;DR本文研究了在部分观测状态的不确定系统中的离散决策问题，并通过开发信息状态和近似信息状态的概念，提出了一个可行的决策框架。我们使用这一概念定义了近似动态规划，通过输出数据进行学习，以达到有界性能的策略，最后提供了数值实验来说明这一结果在控制和强化学习中的应用。
decision-makinguncertain systemsinformation statesdynamic programmingreinforcement learning
发现论文，激发创造
  • 无限时间视角下基于部分观测的最坏情况控制与学习

    本文研究了安全关键的物理系统所需的控制策略，通过建模系统中的不确定性和模型干扰，提出了一种近似控制和学习框架，并对其进行了数学分析和算法设计。

    Mar, 2023

  • 连续时间 POMDP 的近似控制

    该研究提出了一个用于具有离散状态和动作空间的连续时间的部分可观察系统的决策框架。通过近似方法来处理大状态空间下的最优决策问题，其中高维过滤分布通过投影到参数化分布族进行了近似，结合完全可观察系统的控制启发式方法获得了可扩展的策略。在多个部分观测系统上，包括队列系统和化学反应网络，验证了该方法的有效性。

    Feb, 2024

  • 间歇可观察的马尔科夫决策过程

    本文研究了在不稳定状态信息下的 MDP，提出了一种基于树组织结构和值迭代算法的有限状态近似方法来寻找最优策略。

    Feb, 2023

  • 连续状态空间中的分布可靠随机控制的统计学习

    该研究论文介绍了一个分布鲁棒的随机控制范式，能够容纳对分布内可能的自适应敌对扰动的噪声进行考虑，在给定的模糊集合内。通过对两种敌对模型的研究，我们揭示了在不同的动态规划方程下的最优有限样本极小化率，以实现对连续状态下健壮价值函数的统一学习，考虑由 f_k - 散度和 Wasserstein 距离定义的模糊集合。最后，我们展示了我们的框架在各种真实世界环境中的适用性。

    Jun, 2024

  • 递归 Q 学习的近似信息状态收敛分析

    该论文研究了强化学习算法中的一种非马尔可夫过程，提出了一种基于近似信息状态 (AIS) 的改进方法，展示了其比基线更好的表现和与 AIS 表示相关的性能变化。

    Jun, 2023

  • 复杂随机过程的易处理推理

    本文描述了在动态贝叶斯网络中维护精简的信任状态的想法，以及分析错误是如何随过程演化呈指数级收缩的，最终向我们展示了如何在监测任务中应用我们的想法。

    Jan, 2013

  • 自适应信息信念空间规划

    该研究旨在使用奖励函数来有效地做出明智的决策，通过提出抽象观测模型来降低计算成本并推导出期望信息论奖励函数的界限以及价值函数的界限，同时，提出了一种用于改善聚合方法的方法，实现了相同动作选择的计算时间减少。

    Jan, 2022

  • 部分历史分享下的分散随机控制：一种共同信息方法

    本研究提出了一种分散式随机控制的普适模型，称之为部分历史共享信息结构。在该模型中，每一时刻控制器都要分享他们的部分观察历史和控制历史。基于所有控制器共同知晓的信息，将分散式问题从一个协调者的角度重构为等价的集中式问题，并提出了一种解决这个等价问题的方法。相较于已有的方法，这种方法是更简单、综合的，能够提供更好的结构性和动态规划方案。

    Sep, 2012

  • 通过正式抽象实现非高斯噪声动态系统的鲁棒控制

    该研究论文提出了一种新颖的控制器合成方法，它不需要任何明确表示噪声分布的方式，而是通过将控制系统抽象为捕捉噪声的有限状态模型，然后使用从场景方法中的工具来计算可能正确的限制，基于一些噪声的有限数量样本。通过缩小合成过程的复杂性，该方法在实际控制系统上的应用具有广泛的适用性。

    Jan, 2023

  • 学习部分可观测环境的因果状态表示

    本文提出了一种基于循环神经网络（RNN）的近似因果状态算法，该方法学习从 POMDP 中的历史动作和观察预测未来观察情况的因果状态表示。实验证明，所学习的状态表示可用于有效学习具有丰富观察空间的强化学习问题，并与之前的方法进行比较。

    Jun, 2019