May, 2024

ExACT: 一种使用 Transformer 进行操作分块的端到端自主挖掘机系统

PDF
TL;DR通过模仿学习方法和最少一组人类演示，ExACT 是构建完全自主挖掘机系统的首个实例，其能够完成不同的挖掘任务。
autonomous excavator systemexactimitation learningexcavation tasksend-to-end
发现论文，激发创造
  • 使用低成本硬件学习精细双手操作

    我们提出了一种低成本的系统，该系统可以直接从真实演示中进行端到端模仿学习，以学习在现实世界中执行精细操作任务的方法。

    Apr, 2023

  • 一份 ACT 戏剧表演：单一演示行为克隆与行动分块变压器

    使用行为克隆从单个人类示范中学习任务，通过使用线性变换增强单个示范来生成一系列初始条件广泛变化的轨迹，从而成功训练行为克隆智能体完成三个方块操作任务，并通过在推断期间将行动预测的标准差纳入集成方法中，使方法对环境中的意外变化更加稳健，从而实现了显著的性能提升。

    Sep, 2023

  • 增强 Transformer 主干网络，用于自我中心视频动作分割

    本研究提出了两种新颖的想法来增强用于行动分割的 transformer，第一，我们引入了双扩张注意机制来自适应地捕获局部到全局和全局到局部上下文中的分层表示。第二，我们在编码器和解码器块之间加入跨连接以防止解码器丢失局部上下文。此外，我们利用最先进的视觉语言表示学习技术为我们的 transformer 提取更丰富，更紧凑的特征。我们的方法在 Georgia Tech Egocentric Activities (GTEA) 和 HOI4D Office Tools 数据集上优于其他最先进的方法，并且我们通过消融实验验证了我们介绍的组件。我们的源代码和补充材料公开可用。

    May, 2023

  • 使用端到端深度模仿学习的敏捷自主驾驶

    我们提出了一种使用低成本传感器进行敏捷越野自主驾驶的端到端模仿学习系统，通过模仿配备高级传感器的模型预测控制器，我们训练了一个深度神经网络控制策略，将原始的高维观测映射到连续的转向和油门命令，这个方法不需要状态估计或实时规划来导航车辆，并通过在线模仿学习克服了协变量漂移方面的挑战，实现了成功的高速越野行驶，匹配了最新的性能水平。

    Sep, 2017

  • EventTransAct：基于视频变换器的基于事件摄像机的动作识别框架

    本研究旨在通过使用事件相机进行行为识别，提出了一种基于视频变换网络和事件对比损失的计算高效模型。该模型在真实世界中的行为识别任务中表现出卓越性能，并且相较于其他方法具有更低的计算时间，适用于基于事件相机的行为识别应用。

    Aug, 2023

  • RT-1：用于实际规模控制的机器人变压器

    通过开放式训练和高容量结构的机器学习模型，结合具有各种数据多样性的大规模数据集，以实现机器人模型的泛化能力。

    Dec, 2022

  • 基于风格转移的语音和视觉场景理解，用于机器人从视频中获取操作序列

    本文介绍一种从指令视频中生成机器人动作序列的方法，用于实现人机协作，并展示了该方法在各种烹饪动作中的成功率达到 32%。

    Jun, 2023

  • 使用视觉动作转换器模拟任务与运动规划

    该论文提出了一种新的模仿学习系统 OPTIMUS，通过模仿 TAMP 代理来训练大规模视觉运动装置策略，从而介绍了一种专门为模仿学习策划的 TAMP 数据生成流程，并演示了 OPTIMUS 可以解决各种挑战性的基于视觉的操作任务。

    May, 2023

  • 一次即视视觉模仿的变形金刚

    本文介绍了一种使用神经网络和 Transformer 注意机制的方法，通过向机器人展示上下文视频来缩小机器人学习中的领域差距，并实现了对单次操作任务的 2 倍成功率提升。

    Nov, 2020

  • 基于深度学习的端到端自动驾驶：系统性综述

    综述了近期基于机器学习的技术，包括但不限于目标检测、轨迹预测与强化学习，以及对其进行分类和研究趋势，同时指出了该领域的挑战和未来研究方向。

    Aug, 2023