Feb, 2022

运输器视觉前瞻解决未知重新排列任务

PDF
TL;DR本文提出了一种基于图像的任务规划方法，称为具有视觉预见的运输器，旨在解决智能机器人操作中的重新排列任务。通过多模态动作建议模块和 Goal-Conditioned Transporter Network 的学习，实现零样本通用性和高效学习。在模拟和真实机器人实验中，该方法以很少的数据量显著提高了任务的成功率。
发现论文，激发创造
  • 运输网络：为机器人操作重构视觉世界

    本文提出了 Transporter Network，一种简单的模型体系结构，它可以重新排列深层特征以从视觉输入中推断出空间位移，使得机器人的行动具有参数化，是一种可以表示复杂的多模式策略分布并推广到多步顺序任务的方法，并且采样效率比基准方法快数个数量级。

    Oct, 2020

  • 傅立叶传输器：三维双等变机器人操作

    利用傅里叶转换器在复杂机器人操作任务中提高样本效率，通过训练和预测新环境下的拾取 - 放置动作来实现开环行为克隆方法，并独立考虑拾取和放置动作的对称性，取得了在 RLbench 基准测试中的最新成果。

    Jan, 2024

  • Graph-Transporter：面向目标驱动变形物体重新排列任务的基于图的学习方法

    通过用图形结构表示可变形物体的配置空间，使用图卷积网络对图进行编码并采用基于全卷积网络的体系结构，只从视觉输入中输出逐像素的采取和放置动作，以实现目标条件下的可变形物体重新排列任务。

    Feb, 2023

  • 使用目标条件传输网络学习重新排列可变电缆、织物和袋子

    本文介绍了一种将目标限制引入运输网络中的方法，利用该方法结合具有多阶段柔性物体操作任务而设计的一套模拟基准，成功实现了机器人对柔性物体的多样姿态操作。

    Dec, 2020

  • 层次化先见之明：通过视觉子目标生成进行长时程任务的自监督学习

    通过子目标生成和规划的分层视觉预见（HVF）框架，可以将任务分解成易于规划的片段，并自然地识别语义上有意义的状态作为子目标，在三个模拟的基于视觉的操作任务中，我们的方法实现了近 200% 的性能提升。

    Sep, 2019

  • 基于 Transformer 的视觉引导规划在程序化任务中的应用

    使用人类决策过程的教学视频培训模型，学习从视频中直接生成可规划结构的状态和行动空间，并使用 Planning Transformer 解决了长期决策的复杂性问题，并通过实验证明了其在达到目标方面的良好性能表现。

    Sep, 2021

  • FViT-Grasp：使用快速视觉 Transformer 抓取物体

    本研究解决了机器人领域中的操控问题，并设计了一种新的方法来快速而准确地确定机器人操控物体的最佳抓取点。我们的方法利用了一种名为快速视觉变形器（FViT）的神经网络，该网络专为处理视觉数据并预测最合适的抓取位置而设计。我们的方法在速度上展示出卓越的性能，同时保持了高水平的准确性，将有望在实时机器人抓取应用中得到应用。我们相信，这项研究为未来基于视觉的机器人抓取应用研究提供了基准。其高速和准确性将使研究人员更接近真实生活应用。

    Nov, 2023

  • 通过学习自我监督进行流体重建的全球传输

    通过全局传输公式，我们提出了一种新的方法，从稀疏视图中重建容积流。我们通过单个初始状态来重建其运动，引入了自学习的自我监督，它通过传输约束和可微分渲染步骤，使视觉约束耦合。这使得即使只是从一个视角的输入，也能够重建高度逼真的流动运动。通过各种合成流和实际流展示了所提出的传输过程的全局重建可以改善流体运动的重建。

    Apr, 2021

  • 基于模型的自监督功能距离视觉规划

    本文介绍了一种使用自监督学习方法和动力学模型和距离函数相结合的视觉目标到达方法，可用于训练通用机器人执行多种任务，该方法不需要手动设计奖励函数，仅使用无标签数据进行学习，并表现出较高的性能。

    Dec, 2020

  • 物理序列织物操作的视觉空间预测

    该研究使用视觉预测框架来学习能在不同任务中重复使用的织物动力学，使用这种方法可以在织物平整和折叠任务中提高效率，并在物理上完成连续织物折叠任务。

    Feb, 2021