Apr, 2022

固定时限约束随机最短路问题在局部转移下的全多项式时间逼近方案

PDF
TL;DR本文提出了一个在局部转换下的全多项式近似方案，可用于计算最优确定性策略，以解决 (C) C-SSP 问题，其中固定阈值限制随机最短路径问题是在一定操作限制下的规划形式，当限制违反时，这种 CC-SSP 变体允许边界概率，而 SSP 问题的状态可达性呈现出一定的局部性，并且在此情况下，只有一定数量的状态可以共享一些后续状态。
fixed-horizon constrained stochastic shortest path problemchance-constrained ssplocal transitionapproximation schemedeterministic policies
发现论文，激发创造
  • 用于自主车辆行为规划的概率约束随机最短路径双重描述

    本文介绍了一个基于约束的随机规划问题，其中利用整数线性规划方法确保了确定性决策，同时为安全性关键的应用提供了约束违规概率的上界。同时还介绍了确定性策略和随机策略的随机舍入过程，并探讨了如何在考虑不同时间步的约束情况下进行 CC-SSP 的推广。

    Feb, 2023

  • 通过成本预算分配的层次约束随机最短路径规划

    该论文提出了一种使用分层规划展开的基于成本约束的随机最短路径问题（HC-SSP）的框架，通过分支和剪枝算法来迭代地分配成本预算，从而在真实时间和风险敏感的应用中找到一个可行解。

    May, 2022

  • 带有对手可变成本的随机最短路径

    本文提出了对抗性 SSP 模型，包含时间上对成本的不良变化和未知转移，其开发了第一个对抗性 SSP 算法，并证明了高概率的回报上限。

    Jun, 2020

  • 随机最短路径的隐式有限时间近似和有效最优算法

    该研究利用隐式有限时间近似技术，提出一种通用的模板，用于开发 Stochastic Shortest Path 模型中的情感极小化算法，并且开发了两个新算法，一个是无模型算法，一个是基于模型的算法。这两个算法具有高度稀疏更新，比所有现有算法的计算效率更高，并且都可以实现完全无参数。

    Jun, 2021

  • 随机最短路径问题的高效约束生成

    利用规划和运筹学的新框架，解决了随机最短路径问题中冗余计算的问题，提出了一种有效的约束生成技术，应用到了新算法 CG-iLAO*，实验证明 CG-iLAO * 相较于 LRTDP 和 iLAO * 在解决问题时速度提高了 8 倍和 3 倍，并忽略了 iLAO * 的多达 57% 的动作。

    Jan, 2024

  • 随机最短路径的近最优遗憾边界

    本文介绍了一种解决随机最短路径问题的算法，其中代理必须通过在有限次数的游戏中获得最佳策略，从而在最短期望代价下达到目标状态。通过探究悔恨最小化和最小瞬时代价的根号反比关系，本文提出了一种不依赖于最小代价的算法，并展示了任何学习算法在最坏情况下都要有至少 Omega（Bstar 根号乘以 S、A、K 的数量）的悔恨。

    Feb, 2020

  • 达成目标很困难：解决随机最短路径样本复杂度问题

    本文研究计算马尔科夫决策过程中随机最短路径问题中，学习合理策略的采样复杂度，得到在有选项模型的情况下，学习合理策略的采样下界，并提出一种能够匹配界限的算法。同时，探讨在没有选项模型的情况下学习最佳策略识别问题中的高效学习可能性，并证明在一些假设下是实现可能的。

    Oct, 2022

  • 使用线性函数逼近学习随机最短路径

    本论文研究了具有线性函数逼近的随机最短路径问题，提出了一种使用 Hoeffding 类型置信度集的新算法，能够实现次线性后悔保证。同时，对于在 $c_{min}=0$ 的情况，可以保证近似次立方的后悔保证。此外，通过设计改进的贝恩斯坦置信度集，改进的算法能够保证近乎最优的后悔保证。

    Oct, 2021

  • 随机最短路径：极小 - 极大，无参数和无限时间后悔

    本文旨在解决随机最短路径问题中的学习问题，并设计了一种名为 EB-SSP 的基于模型的算法。该算法通过探索奖励来诱导一个乐观的 SSP 问题，其值迭代方案已被证明会收敛，并获得与下限之间的效果。同时，该算法在不使用任何先前知识的情况下获得最小化后悔率，并在如正成本或一般成本等各种情况下均有所改善。

    Apr, 2021

  • 改进的随机最短路径线性 MDP 无悔算法

    提出两种新的无懊悔算法解决带有线性 MDP 的随机最短路径问题，其中第一种算法能够以较低的计算成本获得较小的后悔界，并且对于有限时间情况，还获得了对数后悔界；而第二种算法则实现了无时间限制情况下的近乎最优性，但计算成本较高。

    Dec, 2021