CompoSuite：一款组合强化学习基准测试工具

Jul, 2022

CompoSuite：一款组合强化学习基准测试工具

CompoSuite: A Compositional Reinforcement Learning Benchmark

Jorge A. Mendez, Marcel Hussing, Meghna Gummadi, Eric Eaton

TL;DR本文介绍 CompoSuite，一个开源的模拟机器人操作基准测试，用于对复合多任务强化学习进行基准测试，评估现有单任务、多任务和组合学习算法在不同训练设置下的能力，并评估它们对未见任务的组成归纳能力，以此暴露现有 RL 方法在组合性方面存在的缺陷及问题。

Abstract

We present CompoSuite, an open-source simulated robotic manipulation benchmark for compositional multi-task reinforcement learning (RL). E

compositional multi-task reinforcement learning robotic manipulation benchmark functionally decompose problems generalization

发现论文，激发创造

用于离线组合强化学习的机器人操作数据集

本研究提供了四个来自 CompoSuite 的离线强化学习数据集，用于解决机器人操作的组合任务，评估表明组合方法比非组合方法优越，但当前方法仍无法提取任务的组合结构以推广到看不见的任务，需要进一步研究。

Jul, 2023

可验证的组合性强化学习系统

我们提出了一个可验证和组合的强化学习框架，其中一组强化学习子系统被组合起来以实现整体任务，子系统之间通过定义接口和部分可观察性相互交互。实验结果展示了该框架在各种环境中的新颖功能。

Sep, 2023

可验证和组合的强化学习系统

提出了一种可验证和组合强化学习的框架，其中包含一组学习单独子任务的子系统，并填充入标准任务的高层模型，将各个子任务组合成全部任务，成功证明了该框架的实用性和有效性。

Jun, 2021

基于神经组合的模块化终身强化学习

本文提出了一种基于神经模块的组成式学习方式，探讨了在连续强化学习模型下的可重复利用子问题解决方案，并且通过离线重放经验保持表现以加速未来任务学习的累积神经组件复合持续强化学习方法。

Jul, 2022

功能组合结构的终身机器学习

这篇论文提出了一种通用的学习框架，用于终身学习功能本质组合结构，分别研究了有监督学习和强化学习的应用，同时拓展到了非静态环境下。在评估实验中，展示了这种框架的优越性，取得了较好的效果。

Jul, 2022

零样本组合强化学习环境生成

通过训练生成器创建任务序列的自动课程表，以使强化学习代理能够完成复杂的组合任务，提高其健壮性和泛化能力，我们提出了一种名为 CoDE 的新算法，并对其进行了分析和评估

Jan, 2022

组合强化学习的范畴语义

本文利用分类学的方法，构建了一个强化学习的可组合性框架，研究了分解问题为子任务并在这些任务上运用学习策略的方法。文章针对贝尔曼最优方程而研究在组合模型下的可行性，探讨使用一些纤维积和推出操作使得组合现象更明显，并且通过引入的 zig-zag 连线模拟了 MDP 中的连续式任务完成方式。

Aug, 2022

使用参数组合框架的高效多任务与迁移强化学习

本研究探讨了改进多任务训练以及在强化学习环境中的传递的潜力，提出了一种参数组合的方法来处理这一挑战，并通过在不同的操作任务上进行传递实验以证明其有效性。

Jun, 2023

可验证和组合式的多信度模拟到现实强化学习流水线

我们提出并展示了一种用于训练和验证强化学习系统的组合框架，在多功能度的仿真到实际应用中，以便在物理硬件上部署可靠和适应性强的强化学习策略。通过将复杂的机器人任务分解为组成子任务，并定义它们之间的数学接口，该框架允许对相应的子任务策略进行独立训练和测试，同时可以对其组合所产生的整体行为提供保证。通过使用多功能度仿真管道验证这些子任务策略的性能，该框架不仅可以实现高效的强化学习训练，还可以根据仿真和实际之间的差异挑战对子任务及其接口进行改进。在实验案例研究中，我们将该框架应用于训练和部署一个成功驾驶 Warthog 无人地面机器人的组合式强化学习系统。

Dec, 2023

一种适用于强化学习任务的组合规格语言

提出一种用于规定复杂控制任务的语言并实现在工具 SPECTRL 中的算法，可以将任务规定编译为奖励函数并自动进行奖励形状。

Aug, 2020