可验证的组合性强化学习系统

Sep, 2023

Verifiable Reinforcement Learning Systems via Compositionality

Cyrus Neary, Aryaman Singh Samyal, Christos Verginis, Murat Cubuktepe, Ufuk Topcu

TL;DR我们提出了一个可验证和组合的强化学习框架，其中一组强化学习子系统被组合起来以实现整体任务，子系统之间通过定义接口和部分可观察性相互交互。实验结果展示了该框架在各种环境中的新颖功能。

Abstract

We propose a framework for verifiable and compositional reinforcement learning (RL) in which a collection of RL subsystems, each of which learns to accomplish a separate subtask, are composed to achieve an overall task. The framework consists of a high-level model, represented as a parametric Markov decision process, which is used to plan and analyze composi

verifiable reinforcement learning compositional reinforcement learning parametric markov decision process decompositions of task specifications deep rl agents

发现论文，激发创造

可验证和组合的强化学习系统

提出了一种可验证和组合强化学习的框架，其中包含一组学习单独子任务的子系统，并填充入标准任务的高层模型，将各个子任务组合成全部任务，成功证明了该框架的实用性和有效性。

Jun, 2021

可验证和组合式的多信度模拟到现实强化学习流水线

我们提出并展示了一种用于训练和验证强化学习系统的组合框架，在多功能度的仿真到实际应用中，以便在物理硬件上部署可靠和适应性强的强化学习策略。通过将复杂的机器人任务分解为组成子任务，并定义它们之间的数学接口，该框架允许对相应的子任务策略进行独立训练和测试，同时可以对其组合所产生的整体行为提供保证。通过使用多功能度仿真管道验证这些子任务策略的性能，该框架不仅可以实现高效的强化学习训练，还可以根据仿真和实际之间的差异挑战对子任务及其接口进行改进。在实验案例研究中，我们将该框架应用于训练和部署一个成功驾驶 Warthog 无人地面机器人的组合式强化学习系统。

Dec, 2023

组合强化学习的范畴语义

本文利用分类学的方法，构建了一个强化学习的可组合性框架，研究了分解问题为子任务并在这些任务上运用学习策略的方法。文章针对贝尔曼最优方程而研究在组合模型下的可行性，探讨使用一些纤维积和推出操作使得组合现象更明显，并且通过引入的 zig-zag 连线模拟了 MDP 中的连续式任务完成方式。

Aug, 2022

基于神经组合的模块化终身强化学习

本文提出了一种基于神经模块的组成式学习方式，探讨了在连续强化学习模型下的可重复利用子问题解决方案，并且通过离线重放经验保持表现以加速未来任务学习的累积神经组件复合持续强化学习方法。

Jul, 2022

带有正式保证的随机控制系统中的组合策略学习

通过学习神经网络策略及其与 rech-avoid 超融合 (Probabilistic Reach-Avoid Supermartingales, RASM) 的组合，提供了一种新的方法来保证复杂控制任务中神经网络策略的行为满足特定规范的概率，并在 Stochastic Nine Rooms 环境中进行了评估。

Dec, 2023

面向离散和连续强化学习的安全任务组合

本文基于布尔组合的模式，探究了学习任务的组成安全约束方面，在间格世界中运用价值迭代、在图像观察的网络中应用 Deep Q-Network (DQN)，在连续 - 观察与连续 - 行动的子弹物理环境下应用 Twin Delayed DDPG (TD3)，达到了对于 ' 零射击组成安全性策略 ' 的目标。

Jun, 2023

强化学习规范转换框架

提出了一个形式框架，为定义不同形式目标的 RL 任务之间的转换提供了形式化定义，研究了这种转换的保持最优策略、收敛和稳健性的概念，证明了从 LTL 规范到基于奖励的规范的某些缩减不存在，证明了 RL 算法不存在 PAC-MDP 保证安全规范。

Oct, 2021

经证实的时序逻辑任务的神经符号控制在随机系统中的运用

该论文介绍了一种解决具有未知和随机系统动力学以及 LTL 编码任务的神经网络控制器的时间组合问题的新方法，该方法整合了自动机理论和数据驱动的可达性分析工具，通过基本技能的复合生成安全行为，通过数值模拟和实验验证了该方法。

Nov, 2023

功能组合结构的终身机器学习

这篇论文提出了一种通用的学习框架，用于终身学习功能本质组合结构，分别研究了有监督学习和强化学习的应用，同时拓展到了非静态环境下。在评估实验中，展示了这种框架的优越性，取得了较好的效果。

Jul, 2022

CompoSuite：一款组合强化学习基准测试工具

本文介绍 CompoSuite，一个开源的模拟机器人操作基准测试，用于对复合多任务强化学习进行基准测试，评估现有单任务、多任务和组合学习算法在不同训练设置下的能力，并评估它们对未见任务的组成归纳能力，以此暴露现有 RL 方法在组合性方面存在的缺陷及问题。

Jul, 2022