Sep, 2019

元强化学习在模拟到真实领域适应中的应用

PDF
TL;DR本论文提出了一种基于元学习的方法，在使用任务特定轨迹生成模型提供动作空间以便快速探索的同时，训练机器人智能体以适应各种动态条件，以解决现代强化学习方法低样本效率和不安全探索的问题。我们通过在仿真环境中进行域适应并分析适应过程中潜在空间的结构来评估该方法。然后，在 KUKA LBR 4 + 机器人上应用此策略，并在将曲棍球击向目标的任务中评估其性能。实验结果表明，与基准表现相比，这种方法具有更一致和稳定的域适应性，从而获得了更好的整体性能。
发现论文，激发创造
  • 机器人深度强化学习中的模拟到真实转移：一项调查

    本篇综述涵盖了深度强化学习中模拟转真实环境的基本背景，包括不同方向的方法和应用场景，重点讨论了域随机化、域自适应、模仿学习、元学习和知识蒸馏等方法及其存在的机遇和挑战。

    Sep, 2020

  • 元强化学习在动态现实环境中的自适应学习

    本研究旨在提出一种模型基础的强化学习元学习方法，以在明显减少样本数量的情况下实现机器人在线适应新任务，并证明该方法在模拟和实际机器人中的有效性。

    Mar, 2018

  • 相互对齐迁移学习

    通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

    Jul, 2017

  • 基于元强化学习的腿式机器人最优设计

    本文提出了一种基于模型无关元强化学习的设计优化框架，以及其应用于四足机器人运动学和执行器参数优化的方法，结果表明我们的元策略能够控制不同设计的机器人在多种复杂路况下实现随机速度命令的跟踪，而且相比于基于模型的基准线方法，我们的方法不受预定义动作或步态模式的约束，能够提供更高的性能。

    Oct, 2022

  • 泛化自驾车策略的模仿学习及模拟转现实

    本文研究应用 Imitation Learning 和 transfer learning 方法解决 Duckietown 场景下的机器人车道跟踪问题，并通过 sim-to-real 方法进行实际环境迁移，最终比较了三种 Imitation Learning 方法和两种 sim-to-real 方法的优缺点。

    Jun, 2022

  • 元世界：多任务和元强化学习的基准和评估

    本文提出了一个开源的模拟基准测试，包含 50 个不同的机器人操作任务，以评估 7 种最先进的元强化学习和多任务学习算法在这些任务上的表现，发现这些算法在解决多任务时仍存在挑战，为未来的研究提供了实验环境。

    Oct, 2019

  • 自监督适应深度神经网络实现机器人视觉操作

    使用深度强化学习隐式地在仿真环境中学习潜在的状态表示，并通过无标签的真实机器人数据将其调整到真实环境中，以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失，提出了一种更加有效的方法，成功地训练基于视觉的强化学习智能体来堆叠方块。

    Oct, 2019

  • 学习主动任务导向的探索策略，弥合模拟与现实之间的差距

    本文提出并分析了一种基于任务导向探索的框架，该框架通过在模拟环境中学习任务导向的探索策略来标识任务相关的系统参数，并将这些参数用于在现实世界中进行基于模型的轨迹优化。实验表明，任务导向的探索有助于在系统参数未知时，使基于模型的策略适应更好，从而实现更好的任务表现。

    Jun, 2020

  • 非抓取性操作的强化学习：从仿真到物理系统的转移

    本研究使用一种修改自然策略梯度算法的模型，通过模拟学习并训练，成功将自主控制策略从虚拟系统转移到由三个机器人组成的物理系统中，并证明使用多个模型训练可以使学习到的策略更加稳健，从而弥补了系统识别的困难。

    Mar, 2018

  • 机器人快速在线适应通过模拟先验元学习嵌入

    提出了一种名为 FAMLE 的元学习算法，通过元训练多个起始点来适应不同的机器人动力学，从而在少量数据点的情况下，使机器人能够选择最适合的起始点以适应当前的情况。在模拟和真实的机器人任务中，FAMLE 相对于基线算法可以更快适应新的损伤。

    Mar, 2020