ICLRJun, 2021

VAT-Mart: 学习 3D 关节物体操作的视觉动作轨迹提议

PDF
TL;DR本文提出了一种基于物体的行动视觉先验的方法，即预测密集的几何感知、交互感知和任务感知的行动特征，结合强化学习策略和感知模块进行训练，通过探索多样的交互轨迹和总结概括所探索的知识来实现更好的感知 - 交互效果，并在大规模数据集上验证了其有效性和推广能力。
3d articulated objectsperception-interactionvisual representationsreinforcement learningobject-centric
发现论文，激发创造
  • 从视觉演示中学习关节动作

    该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法，以便于机器人能够独立使用这些物体，这种方法不需要先前的物体模型，并使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。

    Feb, 2015

  • Where2Act: 基于像素的 3D 关节目标对象动作预测

    本文提出一种基于深度学习的方法，通过对物体的可动部分及其所需的操作进行分析，从图像中提取高度本地化的操作信息，从而实现对视觉场景的语义理解。

    Jan, 2021

  • FlowBot3D：学习 3D 关节流来操纵关节对象

    采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

    May, 2022

  • 使用全身移动操纵在未知场景中实现关节物体交互

    本文提出了一个在未知环境中自主交互大型铰接物体的两阶段架构，第一阶段是以物体为中心的规划器，第二阶段是以智能代理为中心的规划器，并且在移动障碍物的情况下，通过优化控制问题确保安全跟踪所生成的计划。

    Mar, 2021

  • 室内模型的交互感知式建模

    为了在日常生活中与可动物体实现互动，本文探索了通过机器人在室内场景中有目的地交互以建立室内场景的可动模型的方法，并引入了一个名为 Ditto in the House 的交互感知方法，通过可行性预测发现可能的可动物体，与这些物体交互以产生可动运动，并从每次交互前后的视觉观察中推断出其可动性质。

    Feb, 2023

  • 变形和刚体物体操作视觉动作规划的潜空间路线图

    本文提出了一个基于图形结构的框架，包含可视化预测模块及提案网络模块，利用低维潜在空间进行常规复杂操作的动作计划，验证了在模拟环境和实际机器人中制定可行的任务完成方案及操作计划。

    Mar, 2020

  • 基于部件引导的三维强化学习用于仿真到实物的关节物体操控

    通过视觉反馈操纵不可见的关节对象对于实际机器人而言是一项关键但具有挑战性的任务。本文提出了一个新颖的部件导向的 3D RL 框架，可以在没有示范的情况下学习操纵关节对象。实验结果在仿真环境和真实世界环境中证明了我们框架的有效性。

    Apr, 2024

  • ContactArt：学习类别级可观测物体和手势姿态的三维交互先验

    通过视觉远程操作收集数据和获取姿态估计和接触信息，提出了一种新的数据集和新的方法来学习手和动态物体姿态估计的交互先验知识。通过对数据的学习，可以提高联合手和关节物体姿态估计的性能。

    May, 2023

  • 面向可泛化的关节式物体操作的运动感知提示

    通过在大型语言模型（LLMs）中引入物体的运动学知识，我们提出了一个运动学感知的提示框架，来生成各种物体操作的低层运动轨迹航点，从而实现智能机器人的通用操控。我们的实验结果表明，该框架在 8 个已知物体类别上表现优于传统方法，并且在 8 个未知的关节式物体类别上展现出强大的零样本能力。同时，我们在 7 个不同的物体类别上进行的真实世界实验也证明了该框架在实际场景中的适应性。

    Nov, 2023

  • 基于物体姿态估计和主动学习的虚拟现实：实现具有空中操纵能力的遥控机器人

    本文提出了一种新型遥控系统，包含了触觉设备以及虚拟现实界面，应用于动态和非结构化环境下的空中机器人操作。利用多个传感器进行感知、姿态估计以及神经网络的主动学习等算法，针对工业领域的任务进行了验证实验，并展示了该系统在未来工业应用中的可行性。

    Oct, 2022