FlowBot3D：学习 3D 关节流来操纵关节对象

May, 2022

FlowBot3D：学习 3D 关节流来操纵关节对象

FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects

Ben Eisner, Harry Zhang, David Held

TL;DR采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

Abstract

We explore a novel method to perceive and manipulate 3d articulated objects that generalizes to enable a robot to articulate unseen classes of objects. We propose a vision-based system that learns to predict the

3d articulated objects vision-based system neural network motion planning generalization

发现论文，激发创造

从视觉演示中学习关节动作

该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法，以便于机器人能够独立使用这些物体，这种方法不需要先前的物体模型，并使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。

Feb, 2015

基于部件引导的三维强化学习用于仿真到实物的关节物体操控

通过视觉反馈操纵不可见的关节对象对于实际机器人而言是一项关键但具有挑战性的任务。本文提出了一个新颖的部件导向的 3D RL 框架，可以在没有示范的情况下学习操纵关节对象。实验结果在仿真环境和真实世界环境中证明了我们框架的有效性。

Apr, 2024

自监督神经骨骼形态和外貌模型

本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

May, 2022

利用空间连续的神经隐式表示学习关节物体的分部运动

通过神经网络模型，本研究提出一种新的框架来明确分解关节物体的部分运动，通过预测部分表面上的点的转换矩阵，使用空间连续的神经隐式表示来平滑地建模部分运动，在对不同类别的关节物体进行实验的数量化和质量化结果证明了我们的方法的有效性。

Nov, 2023

通用流程作为可扩展机器人学习的基础支持

提出了一种基于预测流的机器人学习方法，能够实现在现实场景中稳定且高效的技能转移，涵盖了现实环境中的多个目标类别，通过利用大规模数据集实现了可扩展的普适机器人学习。

Jan, 2024

VAT-Mart: 学习 3D 关节物体操作的视觉动作轨迹提议

本文提出了一种基于物体的行动视觉先验的方法，即预测密集的几何感知、交互感知和任务感知的行动特征，结合强化学习策略和感知模块进行训练，通过探索多样的交互轨迹和总结概括所探索的知识来实现更好的感知 - 交互效果，并在大规模数据集上验证了其有效性和推广能力。

Jun, 2021

预测活动普通物品的运动计划

本文介绍了一种将移动机器人操作任务的规划问题转化为学习问题的方法，并提出了一种基于 ArtObjSim 模拟器的快速和灵活的 SeqIK+$ heta_0$ 运动规划表示方法和相应的学习模型，该方法在测试时可以快速准确地预测关节式对象的运动计划。

Mar, 2023

关于关节化物体建模的调查

计算机视觉和图形中关于 3D 建模和关节物体建模的最新综述研究，着重讨论几何处理和关节建模的相关文献，强调了这些领域的重大进展，并且指出了未来研究的空缺。

Mar, 2024

学习关节物体运动模型的概率框架

该研究提出了一种用于模拟动态图的概率框架，包括对边模型的参数化和非参数模型的建模，以及如何估算物体运动的结构和运动学模型以及其在机器人操作和移动操作中的应用。

Jan, 2014

观察移动：无监督发现用于再定位关节的 3D 关节点

通过从多个视角观察未被注释的关节的外表和结构学习，实现姿势控制和连通性的自动识别，使渲染出的物体更真实。

Dec, 2021