Jun, 2020

学习主动任务导向的探索策略，弥合模拟与现实之间的差距

PDF
TL;DR本文提出并分析了一种基于任务导向探索的框架，该框架通过在模拟环境中学习任务导向的探索策略来标识任务相关的系统参数，并将这些参数用于在现实世界中进行基于模型的轨迹优化。实验表明，任务导向的探索有助于在系统参数未知时，使基于模型的策略适应更好，从而实现更好的任务表现。
robotic policiessimulationsim-to-real gaptask-oriented explorationmodel-based trajectory optimization
发现论文，激发创造
  • 动态随机化的机器人控制的仿真到实际转移

    本文介绍了一种简单的方法来解决在模拟训练中的现实差距问题。通过在训练过程中随机化模拟器的动力学，我们能够开发出适应非常不同的动力学的策略，并且使其在真实世界中推广而不需要在物理系统上进行训练。在机器人控制方面，我们的方法在物体推动任务上表现出了很好的性能。

    Oct, 2017

  • 策略优化的政策转移

    本研究提出了一种基于域随机化的控制策略迁移方法，通过同时学习多种不同行为的控制策略来应对目标环境与训练环境之间的差异，而无需对动态参数进行识别，实验表明该方法可以成功地解决模型误差较大的情况。

    Oct, 2018

  • 元强化学习在模拟到真实领域适应中的应用

    本论文提出了一种基于元学习的方法，在使用任务特定轨迹生成模型提供动作空间以便快速探索的同时，训练机器人智能体以适应各种动态条件，以解决现代强化学习方法低样本效率和不安全探索的问题。我们通过在仿真环境中进行域适应并分析适应过程中潜在空间的结构来评估该方法。然后，在 KUKA LBR 4 + 机器人上应用此策略，并在将曲棍球击向目标的任务中评估其性能。实验结果表明，与基准表现相比，这种方法具有更一致和稳定的域适应性，从而获得了更好的整体性能。

    Sep, 2019

  • 相互对齐迁移学习

    通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

    Jul, 2017

  • ASID：机器人操作中的系统辨识主动探索

    通过利用少量真实世界数据来自动完善模拟模型并规划准确的控制策略，在多个具有挑战性的机器人操作任务中，我们展示了这种模式对识别关节、质量和其他物理参数的有效性，并且说明了只需少量真实世界数据即可进行有效的模拟到真实世界的转换。

    Apr, 2024

  • 闭环模拟与实现：将模拟随机化应用于现实世界的经验中

    本文提出了一种基于模拟场景的策略转移方法，通过改变模拟参数分布并结合少量真实世界回合的训练，以实现在不同机器人任务中的可靠策略转移。

    Oct, 2018

  • 学习生成增强图像用于模拟到真实场景的策略迁移

    本文探讨在模拟环境中学习机器人操作策略的方法，通过使用深度图像数据的随机扩增策略，实现了在非真实场景下学习并获得了验证。

    Mar, 2019

  • 学习导航探索策略

    本研究提出了使用基于学习的方法，实现任务无关的探索性导航的想法，在对比传统的使用几何技术和通用学习技术的情况下，所采用的包括了空间记忆的策略可以更好地探索新的 3D 环境，并将其用于下游任务。

    Mar, 2019

  • 通过学习深度反向动力学模型，从模拟环境实现向真实世界的迁移

    本文研究了如何将在模拟中成功的控制策略推广到实际机器人上，通过计算模拟根据该策略期望的状态并利用深度逆动力学模型决定哪种真实世界的控制动作最适合实现这些状态，同时提出了一种数据收集方法（逐步）学习深度逆动力学模型。

    Oct, 2016

  • 非抓取性操作的强化学习：从仿真到物理系统的转移

    本研究使用一种修改自然策略梯度算法的模型，通过模拟学习并训练，成功将自主控制策略从虚拟系统转移到由三个机器人组成的物理系统中，并证明使用多个模型训练可以使学习到的策略更加稳健，从而弥补了系统识别的困难。

    Mar, 2018