Oct, 2022

在具有不完全可达目标偏好的随机系统中的机会定性规划

PDF
TL;DR本文研究在随机系统中如何综合具有时间扩展目标的偏好满足规划，并提出了安全和积极改进（SPI）和安全几乎肯定改进（SASI）两种解决方案概念以保证改进，并展示了用于合成 SPI 和 SASI 策略的算法。
preferencesstochastic systemsmdpimprovementalgorithm
发现论文，激发创造
  • 具有时态目标部分有序偏好的概率规划

    本文研究了具有对时间目标的偏好的随机系统规划，并引入了一种特殊类型的有限状态自动机，它被称为 “喜好自动机”。作者将该自动机转化为被用于概率规划的策略偏好，建立了多目标马尔可夫决策过程并证明了其有效性。

    Sep, 2022

  • 偏好基于规划的随机环境：从部分有序时态目标到最受欢迎的策略

    使用局部有序偏好对具有时限目标的马尔可夫决策过程进行决策和概率规划，将部分有序偏好通过引入顺序理论映射到这些目标的偏好决策，从而综合出最喜欢的策略。

    Mar, 2024

  • 带安全可达目标的 POMDP 有界策略合成

    本文研究了带安全可达性目标的部分可观测马尔可夫决策过程（POMDPs），提出了一种基于目标约束信念空间和符号约束的方法来合成能实现安全可达性目标的策略，并通过实验结果表明，该方法能够在大量信念空间中高效地搜索有效策略。

    Jan, 2018

  • 基于优先级偏好的概率化时态逻辑规划

    本文利用标记的马尔可夫决策过程研究在有多个时间目标的用户偏好下的概率环境中的时间规划。提出了一种新的优先定性选择线性时间逻辑的规范语言，通过对有限的轨迹进行优先排序的连接和有序分离，使得可以简洁地指定每个时间任务的相应优先级。利用该计算模型，提出了一种计算最优策略的问题，该策略以最小化用户偏好的期望不满意度分数为目标。在几个案例研究中，我们演示了该逻辑和算法的有效性和适用性，并对每个案例进行了详细分析。

    Apr, 2023

  • 离散马尔可夫决策过程上的安全策略改进方法

    介绍了一个新的算法，它可以在有限的马尔可夫决策过程上提供安全保障，并且在两个基准测试中展现出最佳表现。同时，提出了一个 SPI 算法的分类法，发现想法限制政策集合的算法更为安全。

    Jan, 2022

  • 多目标 SPIBB：有限 MDPs 中带安全约束的 Seldonian 离线策略改进

    该论文探讨了如何在已知基线策略下，通过在多个奖励信号中进行权衡来改进机器学习模型的安全策略，并提出了一种新的基于安全策略迭代的方法，以保证算法的安全性和性能。

    May, 2021

  • 更少获取更多：通过更强的性能保证实现安全的策略提升

    提出了一种改进强化学习应用中特定问题的方法，可以显著减少样本复杂度，该方法使用隐式变换来推导更紧密的改进边界，透过实例展示该方法在改进 SPIBB 算法上的功效。

    May, 2023

  • 基于采样的反应综合技术在非确定性混合系统中的应用

    本文介绍了一种基于采样的策略综合算法，用于处理具有复杂连续动态的非确定性混合系统在时间和可达性约束下的情况，其目的是综合出一个反应式策略以保证满足所有可能对手步骤的要求。实验表明，该算法具有广泛适用性并一直领先于现有技术。

    Apr, 2023

  • 随机最短路径问题的变体

    本文介绍了关于随机最短路径问题的算法和策略，提供多种保证路径长度分布，而不仅是期望值最小的解决方案，并对最近在马尔科夫决策过程的研究成果进行了应用。

    Nov, 2014

  • 针对非稳态 MDPs 的安全策略改进

    为了确保在具有高风险影响的平稳变化的非稳态决策问题上的安全性和高置信度，本文提出了一种方法，该方法通过模型自由强化学习与时间序列分析的综合，将一种称为 Seldonian algorithm 的安全算法扩展。

    Oct, 2020