Oct, 2024

GHIL-Glue：带有过滤子目标图像的层次控制

HTML
PDF
TL;DR本研究解决了生成模型与低级控制器之间接口的瓶颈问题，通过提出Generative Hierarchical Imitation Learning-Glue (GHIL-Glue)方法，有效过滤出不利于任务进展的子目标，从而提升低级政策对生成子目标的鲁棒性。实验表明，GHIL-Glue在多种层次模型上实现了25%的性能提升，并在CALVIN仿真基准上达到了新的最先进水平。
发现论文，激发创造
  • 利用弱标记图像推广基于视觉的机器人技能

    研究了机器人感知运动控制策略的广义学习问题，提出了一种称为 GPLAC 的方法来提高机器人策略的泛化能力，结合多任务学习和辅助二进制分类目标，通过卷积神经网络和注意力机制，将交互数据与弱标记的数据集相结合，大大提高了对未知环境的泛化能力。

    Aug, 2017

  • 层次化先见之明: 通过视觉子目标生成进行长时程任务的自监督学习

    通过子目标生成和规划的分层视觉预见（HVF）框架，可以将任务分解成易于规划的片段，并自然地识别语义上有意义的状态作为子目标，在三个模拟的基于视觉的操作任务中，我们的方法实现了近200%的性能提升。

    Sep, 2019

  • 通过生成对抗自我模仿学习从示范中学习类别级可搬移物体操作策略

    本文通过模仿学习的方式解决在复杂情况下通过学习实现物体操作技能的问题，提出了一种可以应用于各项任务的无先验奖励的泛化策略学习方法，并通过几个关键技术，包括生成式对抗自我模仿学习、不断完善的判别器和平衡专家池中的实例，显著提高了分类水平操作策略学习的效率和泛化能力。实验结果在ManiSkill基准测试中都有明显改善。

    Mar, 2022

  • 学习基于视频的策略用于未见过的操纵任务

    通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。

    May, 2023

  • 分解视觉机器人操作中的模仿学习普遍化差距

    模仿学习中泛化难题的困难源自于视觉机器人操作中的因素变化，作者研究了模拟仿真和实际机器人任务中不同因素的泛化难度，并设计了一个新的基准测试用来评估泛化效果。

    Jul, 2023

  • 大规模视频生成预训练在视觉机器人操作中的应用

    通过大规模视频生成预训练，我们展示了基于语言条件的视觉机器人操作对于生成预训练模型的有效性扩展，提供了新的证据，显示出在多任务视觉机器人操作中，经过视频生成预训练的统一GPT风格转换器具有显著的泛化能力。

    Dec, 2023

  • Dreamitate: 通过视频生成进行真实世界视觉运动策略学习

    在这篇论文中，我们提出了一种视觉-运动策略学习框架，该框架在给定任务的人类示范中对视频扩散模型进行微调。在测试阶段，我们生成了一个以新颖场景的图像为条件的任务执行示例，并直接使用这个合成的执行结果来控制机器人。我们的主要观点是，使用常用工具可以轻松地弥合人手和机器人操作者之间的具身隔阂。我们在四个复杂度不断增加的任务上评估了我们的方法，并证明利用互联网规模的生成模型使得学习策略可以比现有行为克隆方法实现更高程度的泛化。

    Jun, 2024

  • 机器人中的深度生成模型：基于多模态示范学习的综述

    本研究针对传统学习示范中模型复杂性和规模适应性不足的问题，综述了深度生成模型在机器人学习中的应用进展。通过探讨不同类型的深度生成模型及其在抓取生成、轨迹生成等应用中的表现，这项工作揭示了提升模型泛化能力的关键决策，并指出了未来研究的挑战和方向。

    Aug, 2024

  • 可语义控制的增强用于可推广的机器人学习

    本研究解决了机器人在复杂现实场景中实现推广学习时数据不足的问题。通过提出基于图像-文本生成模型的可语义控制的增强框架，研究展示了如何快速扩增机器人数据集并产生丰富的变化，从而提高机器人的真实场景推广能力。最显著的发现是，该方法能够在无人成本的情况下有效提升机器人学习的推广性能。

    Sep, 2024

  • GR-2：一种具有网络规模知识的生成视频-语言-动作模型，用于机器人操作

    本研究提出了GR-2，一个先进的通用机器人代理，旨在解决机器人操作中的可变性和广泛适应性问题。通过对3800万个视频片段进行大规模预训练，GR-2能够在多种任务和新环境中实现97.7%的成功率，展现出卓越的多任务学习和泛化能力。此项研究为机器人技术的进一步发展和实际应用提供了重要的贡献。

    Oct, 2024