Jan, 2017

从无限到有限程序：显式误差界与近似动态规划应用

PDF
TL;DR本研究探讨了在一般情况下难以计算的无穷维空间线性规划问题，通过采用随机优化和一阶方法等新兴发展，将其近似为易于处理的有限凸规划，同时在长期平均成本和折抵成本最优控制问题上，展示了理论研究的适用性和泛化性。
linear programminginfinite-dimensional spacesapproximationrandomized optimizationoptimal control
发现论文，激发创造
  • 近似动态规划的理论和数值分析及其近似误差

    本研究探讨了近似动态规划中每次迭代的近似误差如何影响最终结果的质量，研究表明可以基于一些已知量和可验证的假设获得一定范围内的最优解，同时通过计算控制近似误差的上界得到系统稳定的充分条件，最后在轨道机动问题中验证了理论研究的假设并应用了稳定性与优化的条件。

    Dec, 2014

  • 线性规划方法求解约束部分可观测的马尔可夫决策过程

    使用 LP 模型结合基于网格的近似方法生成近似策略，研究了解决限制观测 Markov 决策过程的效果。结果表明，LP 模型可有效地生成有限和无限时间段问题的近似策略，同时提供将各种附加约束集成到模型中的灵活性。

    Jun, 2022

  • 可伸缩因果边界的计算

    计算具有未观察到的混淆变量和离散值观察变量的因果图上的因果查询的边界的问题，我们显示线性规划可以被大大剪枝，使得我们能够解决较大规模的因果推断问题，以及提出了高效的贪心算法用于推断无额外观测变量的因果边界。

    Aug, 2023

  • 大规模马尔可夫决策问题的线性规划

    本文考虑了控制具有大状态空间的马尔可夫决策过程以最小化平均成本的问题，并使用线性规划和两种方法，即基于随机凸优化和基于约束采样的方法，将性能提高到与在低维策略类中的任何策略相比的最佳水平。

    Feb, 2014

  • 一阶 MDP 的近似线性规划

    本文提出了一种基于线性规划的解决方法，通过将价值函数在一组一阶基函数的线性表示中计算适当的权值，解决了一阶马尔科夫决策过程中与特定领域实例无关的解决方案。并将该解决方法应用于电梯调度方面，具有丰富的特征空间和多标准加性奖励，证明了其优于许多直观、启发式指导政策。

    Jul, 2012

  • 随机算法与 PAC 界限在连续空间逆向强化学习中的应用

    该研究探讨了具有连续状态和动作空间的离散时间贴现马尔可夫决策过程，并解决了从观察到的最优行为中推断成本函数的逆问题。研究首先考虑了完全掌握专家策略的情况，并通过使用职业度量、线性对偶和互补松弛条件来刻画逆问题的解集。为避免平凡解和不适当性，引入了自然线性标准化约束。这导致了一个无限维的线性可行性问题，并对其性质进行了深入分析。其次，采用线性函数逼近器和随机化方法，即场景方法和相关的概率可行性保证，为逆问题提供了 ε- 最优解。对于所需的近似精度，进一步讨论了样本复杂度。最后，针对只有有限一组专家示范和生成模型可供使用的更加现实的情况，给出了使用样本时产生的误差界限。

    May, 2024

  • 通过线性规划对偶解决大规模马尔可夫决策问题

    本文提出了一种针对状态空间较大的 MDP 问题进行优化的方法，该方法基于一小组策略的占用度量的低维度逼近，并提出了一个有效的算法，可用于在该类策略中找到低过度损失相对于最佳策略的策略。作者限定了平均成本和折扣成本情况下的过量损失，并在队列应用中展示了该方法的有效性。

    Jan, 2019

  • 随机线性规划以几乎线性（有时是亚线性）的运行时间解决折扣马尔科夫决策问题

    提出一种新的随机线性规划算法，利用价值 - 策略对偶和二叉树数据结构，自适应地采样状态 - 动作 - 状态转移，并进行指数原始 - 对偶更新，从而以几乎线性的运行时间在最坏情况下找到一个 ε- 最优策略。当马尔可夫决策过程是遍历的并且以某些特殊的数据格式指定时，该算法使用线性的运行时间，在状态 - 动作对的总数中是次线性的，为解决随机动态规划问题提供了新的途径和复杂性基准。

    Apr, 2017

  • 一种稳定 LPV 系统的有限样本泛化界

    从数据中学习动力系统的一个主要理论挑战是提供关于泛化误差的上界，即在某个有限样本上测量的期望预测误差与经验预测误差之间的差异。本文推导了稳定连续时间线性参数变化系统的一种 PAC 上界，该上界依赖于所选 LPV 系统的 H2 范数，但不依赖于考虑的时间间隔。

    May, 2024

  • 动态策略编程

    本文提出了一种新的策略迭代方法 —— 动态策略规划（DPP），用于在无限时间马尔可夫决策过程（MDP）中估计最优策略，证明了 DPP 在估计和近似误差存在的情况下的有限迭代和渐进 l∞-norm 性能损失边界，通过数值实验表明，与现有的强化学习方法相比，在所有情况下，基于 DPP 的算法表现出更好的性能。

    Apr, 2010