可验证和组合式的多信度模拟到现实强化学习流水线

Dec, 2023

可验证和组合式的多信度模拟到现实强化学习流水线

A Multifidelity Sim-to-Real Pipeline for Verifiable and Compositional Reinforcement Learning

Cyrus Neary, Christian Ellis, Aryaman Singh Samyal, Craig Lennon, Ufuk Topcu

TL;DR我们提出并展示了一种用于训练和验证强化学习系统的组合框架，在多功能度的仿真到实际应用中，以便在物理硬件上部署可靠和适应性强的强化学习策略。通过将复杂的机器人任务分解为组成子任务，并定义它们之间的数学接口，该框架允许对相应的子任务策略进行独立训练和测试，同时可以对其组合所产生的整体行为提供保证。通过使用多功能度仿真管道验证这些子任务策略的性能，该框架不仅可以实现高效的强化学习训练，还可以根据仿真和实际之间的差异挑战对子任务及其接口进行改进。在实验案例研究中，我们将该框架应用于训练和部署一个成功驾驶 Warthog 无人地面机器人的组合式强化学习系统。

Abstract

We propose and demonstrate a compositional framework for training and verifying reinforcement learning (RL) systems within a multifidelity sim-to-real pipeline, in order to deploy reliable and adaptable RL polici

reinforcement learning compositional framework multifidelity sim-to-real pipeline robotic tasks simulation and reality

发现论文，激发创造

可验证的组合性强化学习系统

我们提出了一个可验证和组合的强化学习框架，其中一组强化学习子系统被组合起来以实现整体任务，子系统之间通过定义接口和部分可观察性相互交互。实验结果展示了该框架在各种环境中的新颖功能。

Sep, 2023

可验证和组合的强化学习系统

提出了一种可验证和组合强化学习的框架，其中包含一组学习单独子任务的子系统，并填充入标准任务的高层模型，将各个子任务组合成全部任务，成功证明了该框架的实用性和有效性。

Jun, 2021

一种可验证强化学习的归纳综合框架

本文研究如何使用形式化验证技术对增强学习 - enabled 机器学习系统进行验证，以保证其行为安全，并提出了一种基于黑盒方法的综合确定性程序的方法来实现系统验证。

Jul, 2019

一种可扩展和可并行化的数字孪生框架，用于多智能体强化学习系统的可持续的模拟到现实过渡

本文提出了一种可持续的多智能体深度强化学习框架，能够按需选择性地扩展并行训练工作负载，并利用最小的硬件资源将训练策略从模拟转移到真实环境中。我们引入了 AutoDRIVE 生态系统作为一种使合作和竞争的多智能体强化学习策略能够从模拟环境转移到现实环境中进行训练、部署和传输的数字孪生框架。在研究中，我们首先探讨了 4 个合作车辆（Nigel）在单个智能体和多智能体学习环境中共享有限状态信息时的交叉路口问题，并采用了共同的策略方法。然后，我们使用个体策略方法研究了 2 辆车（F1TENTH）的对抗自主赛车问题。在实验中，我们采用了分散式学习架构，能够在不确定性环境中进行稳健的策略训练和测试。智能体只能观察到有限的观测空间，并且只能采样满足运动动力学和安全约束的控制动作。我们以定量指标和定性评述的方式报告了两个问题陈述的实验结果，包括训练和部署阶段。我们还讨论了用于加速多智能体强化学习训练的智能体和环境并行化技术，并分析了它们的计算性能。最后，我们使用提出的数字孪生框架展示了从模拟环境到真实环境中训练策略的资源感知过渡。

Mar, 2024

从多智能体到多机器人：一款可扩展的多机器人强化学习训练和评估平台

本文介绍了一个用于多机器人强化学习的可扩展仿真平台 SMART，该平台包含了一个仿真环境和一个真实的多机器人系统，以提供多样化的交互场景进行训练，并支持基于插件的算法实现。在此基础上，我们研究了合作驾驶变道场景所涉及到的若干具有挑战性的问题，并开源我们的仿真环境及其相关基准测试任务和最先进的基线模型，以推动和强化多机器人强化学习的研究。

Jun, 2022

视觉四旋翼导航的并行强化学习模拟

该研究提出了一种基于 AirSim 的仿真框架，实现了有效的并行训练、分散式训练和大规模代理训练，从而在机器人的视觉四轴导航中实现了学习时间从 3.9 小时降低到 11 分钟的优化。

Sep, 2022

通过模拟对实际现实进行调和：一种用于强大操纵的实际到模拟到实际的方法

通过模拟环境构建数字双子，提出了一种通过强化学习来增强真实世界模仿学习策略的系统 RialTo，实现高性能、鲁棒性的策略的学习，同时避免大量不安全的真实数据收集和大量人工监督。

Mar, 2024

使用参数组合框架的高效多任务与迁移强化学习

本研究探讨了改进多任务训练以及在强化学习环境中的传递的潜力，提出了一种参数组合的方法来处理这一挑战，并通过在不同的操作任务上进行传递实验以证明其有效性。

Jun, 2023

基于神经组合的模块化终身强化学习

本文提出了一种基于神经模块的组成式学习方式，探讨了在连续强化学习模型下的可重复利用子问题解决方案，并且通过离线重放经验保持表现以加速未来任务学习的累积神经组件复合持续强化学习方法。

Jul, 2022

RL-CycleGAN: 强化学习感知的模拟到真实领域的对抗生成网络

本论文提出了基于深度神经网络的强化学习在机器人抓取任务中的应用，以及利用生成模型进行图像仿真与真实环境之间的过渡。其中引入了 RL-scene 一致性损失用于图像翻译，可保证翻译操作是不变的，并在实现无监督领域转换的同时，训练出了 RL-CycleGAN 模型，该模型表现出了模拟到现实环境下最优的效果。

Jun, 2020