Jun, 2024

语言引导的多任务机器人操作的对比模仿学习

PDF
TL;DR本文介绍了一种多任务机器人操纵的逐字逐句学习方法，该方法通过自然语言指令和视觉观察实现在复杂真实环境中执行各种操纵任务的机器人代理。
robotic manipulationnatural language instructionsimitation learningvision-languagemulti-task
发现论文，激发创造
  • VIMA: 多模态提示的通用机器人操作

    使用多模态提示设计了一个基于转换器的通用机器人代理 (VIMA)，可以表达多种机器人操作任务，且在新颖的零激励泛化情况下优于先前的状态最优方法。

    Oct, 2022

  • 语言条件下的机器人操作任务模仿学习

    这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

    Oct, 2020

  • BC-Z：利用机器人模仿学习实现无需先学习任务的泛化

    本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化，当扩展真实机器人的数据采集到 100 个不同的任务时，我们发现此系统可以实现 24 个未见过的操作任务，平均成功率为 44%。

    Feb, 2022

  • 学习神经符号程序用于语言引导机器人操控

    通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

    Nov, 2022

  • 新路径：使用合成指令和模仿学习扩展视觉语言导航

    利用 360 度全景数据生成的合成语音引导大型模拟数据集，使用模仿学习的简单 Transformer 模型，本文介绍了一种新的方式 —— 合成指令及大规模模仿学习来提高代理程序。

    Oct, 2022

  • 基于语言引导的仿真学习任务适应

    本研究提出了一种新的任务学习方式，即通过自然语言表述来传递任务间的区别，以实现重用其他任务的演示，并使用 transformer-based 模型来理解实体之间的关系以学习目标任务，并构建了 Room Rearrangement 和 Room Navigation 两个基准测试以涵盖多样的任务适应。

    Jan, 2023

  • 面向机器人操作的指导驱动历史感知策略

    本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

    Sep, 2022

  • 通过预训练和多任务微调掌握多模态机器人操作

    通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，我们在 VIMA-BENCH 上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了 10%）。此外，我们还展示了我们的模型具有显著的情境学习能力。

    Oct, 2023

  • 弥合交流鸿沟：人工智能代理通过模仿学习手语

    通过从演示中学习，我们研究了通过获取非语言交流技能，特别是手语理解和表达方面的潜在应用，我们专注于对人工智能代理进行模仿学习，使用计算机视觉和深度学习从视频中提取信息，并使用强化学习使代理能够复制观察到的动作，这种方法消除了需要额外硬件的需求，我们成功地教授了涉及上半身（即臂和手）的 5 种不同的手势，为人工智能代理的高级沟通技能铺平了道路。

    Jun, 2024

  • 基于视觉语言模型的指令增强机器人技能习得

    本论文介绍了一种名为 DIAL 的方法，利用半监督的语言标签，结合 CLIP 的语义理解，将知识传播到大型未标记的数据集中，并在增强的数据集上训练语言条件下的策略，从而使模仿学习策略获得新的能力并推广到原始数据集中未见过的 60 个新指令。

    Nov, 2022