Sep, 2022

Perceiver-Actor: 用于机器人操纵的多任务 Transformer

PDF
TL;DR使用 Perceiver Transformer 的行为克隆代理能够有效地学习行动，实验表明其在桌面任务上优于不受结构限制的图像转行动代理和 3D ConvNet 基准。
transformersrobotic manipulationbehavior-cloning agentperceiver transformermulti-task learning
发现论文，激发创造
  • ActFormer：通过主动查询实现可扩展的协作感知

    本研究提出了一种基于 Transformer 的体系结构，旨在处理依靠摄像机协同感知的扩展性问题。该体系结构通过智能地辨别协作者及其相关摄像机的关联性，以学习的空间先验来主动理解视觉特征的相关性，从而提高通信和计算效率，实现多智能体协同三维物体检测的性能改进。

    Mar, 2024

  • Act3D: 用于机器人操作的无限分辨率动作检测变压器

    本文提出的 Manupulation 策略 Transformer Act3D，将 6DoF 关键点预测作为自适应空间计算的 3D 检测操作，取得 RLbench 操作测试中最佳效果。

    Jun, 2023

  • PerAct2: 一个面向双手操作任务的感知器执行框架

    扩展 RLBench 以进行双手操作的模拟基准测试，提供 13 项新任务和 23 个独特的任务变体，其中每个任务要求高度的协调和适应性。通过引入多种先进方法和 PerAct2 语言条件行为克隆代理，实现语言处理与动作预测的高效集成，使机器人能够理解和执行用户指定目标的复杂双手任务。

    Jun, 2024

  • RVT: 用于 3D 对象操作的机器人视图变换器

    本研究提出 RVT，一种基于多视角变形器的三维物体操作方法，在模拟和实际环境中均表现出色，相对于现有方法，其训练速度快 36 倍，推理速度快 2.3 倍，并仅需每项任务约 10 次演示即可达到良好的效果。

    Jun, 2023

  • PACT: 感知 - 行为因果变换器用于自回归机器人预训练

    本研究提出了 PACT（Perception-Action Causal Transformer）范式，通过自监督方法直接利用机器人数据来构建机器人的自身表示，并在移动机器人领域进行了实证研究。研究结果表明，通过共享一个好的自身表示，我们可以降低整个模型的容量并加速实时部署这些系统。

    Sep, 2022

  • 带迭代注意力的通用感知器

    本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务中达到了与最佳模型相当的性能。

    Mar, 2021

  • 基于交互式 Transformer 的端到端环境感知和预测

    本文提出利用新颖 Transformer 架构的 LSTM 循环神经网络去捕捉因交互而产生的时空相关性，来解决自动驾驶场景下的 3D 物体检测及其未来运动轨迹预测，经过实验证明，本方法的准确率及效率均优于同类算法。

    Aug, 2020

  • Uni-Perceiver: 通用感知的预训练统一架构，用于零样本和小样本任务

    使用 Uni-Perceiver 的通用感知架构进行多个任务和多个模态的统一建模和共享参数，在预训练和微调的阶段都表现出了可接受的结果和表现。

    Dec, 2021

  • Perceiver IO: 一种针对结构化输入输出的通用体系结构

    本文提出 Perceiver IO 机器学习模型，它具有灵活的查询机制，能够处理来自任意领域的数据并对多种任务进行推理，其性能表现优于传统的 Transformer-based BERT 基准测试，并在 Sintel 光流估计方面取得了最先进的性能。

    Jul, 2021

  • 基于 Actor-Transformers 的群体活动识别

    本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。

    Mar, 2020