基于信任域的少样本模拟实现增强学习

Dec, 2023

基于信任域的少样本模拟实现增强学习

A Trust Region Approach for Few-Shot Sim-to-Real Reinforcement Learning

Paul Daoudi, Christophe Prieur, Bogdan Robu, Merwan Barlier, Ludovic Dos Santos

TL;DR使用仿真技术最小化对真实世界交互的需求，在少样本离线动力学设置下，引入了一种新方法，通过惩罚来限制仿真训练策略引发的轨迹，以解决常规强化学习代理倾向于利用仿真不准确性的挑战。在各种环境中评估了我们的方法，包括代表不同仿真到真实条件的高维系统，并且在大多数测试场景中，我们的方法相比现有基线模型表现出改进。

Abstract

simulation-to-reality reinforcement learning (Sim-to-Real RL) seeks to use simulations to minimize the need for extensive real-world interactions. Specifically, in the →

simulation-to-reality reinforcement learning simulations few-shot off-dynamics imitation learning trust region

发现论文，激发创造

机器人深度强化学习中的模拟到真实转移：一项调查

本篇综述涵盖了深度强化学习中模拟转真实环境的基本背景，包括不同方向的方法和应用场景，重点讨论了域随机化、域自适应、模仿学习、元学习和知识蒸馏等方法及其存在的机遇和挑战。

Sep, 2020

零样本 Sim2Real 环境自适应

提出了使用 Reverse Action Transformation（RAT）策略的方法来解决模拟到现实世界之间的转换问题，并且和其他基线模型相比，在连续控制任务中可实现零样本适应。

Feb, 2023

深度强化学习智能体的实景迁移用于在线覆盖路径规划

通过在仿真环境中训练模型，并在高推理频率下部署，我们成功地将最先进的结果从仿真转移到了真实领域，而直接学习则需要花费几个星期的人工交互，即完全不可行。

Jun, 2024

通过模拟对实际现实进行调和：一种用于强大操纵的实际到模拟到实际的方法

通过模拟环境构建数字双子，提出了一种通过强化学习来增强真实世界模仿学习策略的系统 RialTo，实现高性能、鲁棒性的策略的学习，同时避免大量不安全的真实数据收集和大量人工监督。

Mar, 2024

相互对齐迁移学习

通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

Jul, 2017

RL-CycleGAN: 强化学习感知的模拟到真实领域的对抗生成网络

本论文提出了基于深度神经网络的强化学习在机器人抓取任务中的应用，以及利用生成模型进行图像仿真与真实环境之间的过渡。其中引入了 RL-scene 一致性损失用于图像翻译，可保证翻译操作是不变的，并在实现无监督领域转换的同时，训练出了 RL-CycleGAN 模型，该模型表现出了模拟到现实环境下最优的效果。

Jun, 2020

泛化自驾车策略的模仿学习及模拟转现实

本文研究应用 Imitation Learning 和 transfer learning 方法解决 Duckietown 场景下的机器人车道跟踪问题，并通过 sim-to-real 方法进行实际环境迁移，最终比较了三种 Imitation Learning 方法和两种 sim-to-real 方法的优缺点。

Jun, 2022

在部分观测情况下，可证明的连续领域模拟到现实世界的转移

本文研究了在部分观测连续领域中的 Sim-to-real 转移，研究了使用线性二次高斯系统建模的仿真环境和真实环境，发现鲁棒对抗训练算法可以学习仿真环境下的策略，并相对于现实环境的最优策略非常具有竞争力。我们提出了一种针对无穷时间平均成本 LQGs 的新算法，并建立了根据模型类的内在复杂度的遗憾界，我们的算法关键地依赖于独立兴趣的新的历史剪辑方案。

Oct, 2022

基于高效信任区域的安全增强学习与低偏差分布演员 - 评论家

本文提出了一种基于信任区域方法的安全分布式强化学习方法，包括针对分布式评论家的估计偏差的降低，用 Q 函数表示的信任区域方法的新代理以及从不安全的初始代理找到满足所有约束的代理的梯度集成方法，实验表明，该方法表现出最小的约束违规，同时实现了高收益。

Jan, 2023

动态随机化的机器人控制的仿真到实际转移

本文介绍了一种简单的方法来解决在模拟训练中的现实差距问题。通过在训练过程中随机化模拟器的动力学，我们能够开发出适应非常不同的动力学的策略，并且使其在真实世界中推广而不需要在物理系统上进行训练。在机器人控制方面，我们的方法在物体推动任务上表现出了很好的性能。

Oct, 2017