Dec, 2022

学习使辅助任务泛化的表示

PDF
TL;DR本文主要研究在 assistive tasks 中应用 sim2real 技术时的问题，并提出了一种解决方案 —— 通过学习一种好的 latent representation 来匹配 test-time humans 能够准确映射到的人类策略，并且在 test-time 进行 fine-tune，这样能够更好地结构化人类策略。
发现论文，激发创造
  • 不变性是泛化的关键：探究表征在视觉导航的从模拟到实际转移中的作用

    数据驱动方法在机器人控制领域迅速发展，然而对未知任务领域的泛化仍然是一个关键挑战。我们认为泛化的关键在于具备足够丰富的表示以捕捉所有任务相关信息，并且对于训练与测试领域之间的无关变异具有不变性。我们实验研究了这样一种富含深度和语义信息的表示，用于视觉导航，并证明它使得完全在模拟室内场景中训练的控制策略能够泛化到多样的现实环境，包括室内和室外。此外，我们还展示了我们的表示减小了训练和测试领域之间的 A - 距离，从而改善了泛化误差的上界。我们提出的方法是可扩展的：随着基础模型在预训练期间吸收更多多样数据，学习策略会持续改进。

    Oct, 2023

  • 将机器人的表示与人类对齐

    研究了如何将在一个环境中学到的知识传递到另一个环境中的关键问题，并通过学习人类期望机器人执行哪些任务的中间表示方法，来提高机器人学习效率，从而为人类与机器人的互动打下基础。

    May, 2022

  • 预训练表示对强化学习智能体的 OOD 泛化的作用

    通过训练 240 个表示和 1 万多个强化学习策略，评估先前训练的 VAE 表示的不同属性对前向代理的 OOD 泛化的影响，发现有些代理在现实分布变化的情况下仍然表现得非常稳健，而在简单的预测任务中的泛化表现可以可靠地预测代理在各种 OOD 设置下的泛化表现。

    Jul, 2021

  • Gen2Sim：用生成模型在仿真中扩展机器人学习规模

    利用图像扩散模型生成 3D 资产并查询语言和视觉生成模型，通过自动化生成任务描述、任务分解和奖励函数，实现在模拟环境中扩大机器人技能学习的方法。该方法成功地实现了多样性长期任务的策略学习，为模拟中的机器人技能获取迈出了一步。

    Oct, 2023

  • 自然语言有助于缩小 Sim2Real 鸿沟

    通过使用自然语言描述图像作为统一的信号来捕捉底层的任务相关语义，我们提出了一种方法来解决在学习图像条件机器人策略时所面临的模拟与真实世界之间的视觉差距问题，该方法通过对大量模拟数据和少量真实演示进行同时训练，将图像编码器作为无域变迁的图像表示的基础，并取得了较之前的 Sim2Real 方法和 CLIP、R3M 等强大的视觉 - 语言预训练方法 25 至 40% 的性能提升。

    May, 2024

  • GenSim：通过大型语言模型生成机器人仿真任务

    通过使用语言模型生成丰富的仿真环境和专家演示，在模拟数据上进行多任务策略训练，极大地增强了任务级泛化能力，并实现了对未见过的现实任务的强大转移能力。

    Oct, 2023

  • 向人类请教：利用人类指令提升强化学习的泛化能力

    本文提出通过使用自然语言指令和行动轨迹演示来自动分解分层任务，以解决在稀疏奖励的强化学习设置中的复杂多任务问题，并证明人类演示有助于解决最复杂的任务，同时允许该模型再未见数据的情况下推广学习，从而使训练好的代理人具有可解释的行为。

    Nov, 2020

  • 在实际环境中学习高效准确导航

    在自主导航的地面机器人领域，现有的研究大多使用真实感的动力学和感知模型，而本篇论文致力于通过在仿真环境中进行端到端的训练，减小模型在现实机器人平台上的差距，并取得了显著的性能和稳健性的提升。

    Jan, 2024

  • 学习生成增强图像用于模拟到真实场景的策略迁移

    本文探讨在模拟环境中学习机器人操作策略的方法，通过使用深度图像数据的随机扩增策略，实现了在非真实场景下学习并获得了验证。

    Mar, 2019

  • 相互对齐迁移学习

    通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

    Jul, 2017