- MARS:用于关节特征表征的多模态主动机器人感知
MARS 是一个新颖的多模态框架,通过多尺度 RGB 特征增强点云特征,同时使用基于强化学习的主动感知进行自主优化,能够精确感知关节对象、提高参数估计精度,并有效处理次优视角,增强机器人交互能力。
- 通过有条件的视图合成实现无监督的关节物体建模
通过使用第一次观测的隐式模型学习对象的几何和外观部分,并通过渲染第二次观测来蒸馏部分分割和关节运动,我们提出了一种新的无监督方法来学习刚性部分组成的关节对象的姿势和部分分割。此外,为了解决部分分割和关节运动的联合优化中的复杂性,我们提出了基 - Real2Code:通过代码生成重建关节物体
通过代码生成,使用 Real2Code 方法对关节物体进行重建,超过先前最先进的重建准确度,并且在训练集的结构复杂性之外,首次对具有多达 10 个关节部件的物体进行重建。
- CenterArt:关节物体的形状重建和六自由度抓取估计
提出了 CenterArt,一种用于同时进行 3D 形状重建和关节体 GRASP 估计的新方法。通过 RGB-D 图像进行输入,利用编码器预测形状和关节代码,再通过解码器重建 3D 形状和估计物体的 6 个自由度的 GRASP 姿势。使用包 - CVPR未知关节物体的数字双胞胎建模的神经隐式表示
我们通过两个不同关节状态的物体的两个 RGBD 扫描构建未知关节物体的数字孪生问题,通过分解成两个阶段并采用显式建模,我们的方法能够重建物体形状并恢复关节模型,通过利用图像、3D 重建和运动学信息,我们的方法相比之前的工作具有更高的准确性和 - 知识 NeRF:动态关节物体的少样例新视点合成
通过利用 Knowledge NeRF 模型和仅有少量观测状态,在动态场景中成功重建 3D 场景并生成新视角。
- RPMArt:针对关节对象的稳健感知和操纵
通过学习估计接合参数并处理噪点云,我们提出了一个用于关节式物体的稳健感知和操纵的框架,通过局部特征学习和点元组投票的方式,我们的主要贡献是一种稳健的关节网络(RoArtNet),有效地预测关节参数和可负担点,此外,我们引入了一种关节感知的分 - 关于关节化物体建模的调查
计算机视觉和图形中关于 3D 建模和关节物体建模的最新综述研究,着重讨论几何处理和关节建模的相关文献,强调了这些领域的重大进展,并且指出了未来研究的空缺。
- CAPT: 使用 Transformer 从单个点云中进行类别级别的关节估计
通过使用 Transformer 基于类别级别的点云进行关节参数估计,本文提出了 CAPT 方法。CAPT 方法利用端到端的 Transformer 架构对单个点云中的关节参数和状态进行估计,能够准确地估计各种关节物体的关节参数和状态,并通 - 自适应开放环境下的关节化物体移动操控
在本研究中,我们介绍了一个全套解决方案,即开放世界移动操作系统,用于处理开放且无结构的环境中的真实关节对象操作,如真实世界中的门、柜子、抽屉和冰箱。我们还开发了一种低成本的移动操作硬件平台,能够在无结构环境中进行安全和自主的在线调整。
- 可控高斯点云投影
使用 CoGS 方法可以直接操纵场景元素,实现对动态场景的实时控制,且在视觉保真度方面始终优于现有的动态和可控神经表示方法。
- SAGE: 在语言指令下桥接语义和可行动部分实现可推广的关节对象操作
基于语言指令,我们提出了 SAGE 框架,它能够通过语义解释和实际操作的部分之间的联系实现通用的关节物体操作,通过语言指令、视觉输入和互动反馈实现对关节物体的多样化操作。
- 利用空间连续的神经隐式表示学习关节物体的分部运动
通过神经网络模型,本研究提出一种新的框架来明确分解关节物体的部分运动,通过预测部分表面上的点的转换矩阵,使用空间连续的神经隐式表示来平滑地建模部分运动,在对不同类别的关节物体进行实验的数量化和质量化结果证明了我们的方法的有效性。
- GAMMA:通用的关节建模和操作方法,用于关节对象
通过学习不同类别的各种关节物体,我们提出了一种新颖的可推广关节建模和操纵框架 (GAMMA),可以从根本上改善对未知和跨类别关节物体的建模和操纵性能。
- ICCVPARIS: 用于关节目标的部件级重建与运动分析
给定两个静态关节状态下物体的多视图图像,我们提出了一种自我监督的、端到端的架构 PARIS,通过学习部分级隐式形状和外观模型,联合优化运动参数而无需任何 3D 监督、运动或语义标注,以解决关节物体的同时部分重建和运动参数估计的问题。
- 神经网络三维关节先验 (NAP)
该研究提出了神经 3D 关节先验(NAP),这是第一个合成 3D 关节物体模型的 3D 深度生成模型,可以通过设计关节树 / 图参数化来生成关节物体,同时使用图 - 注意力去噪网络捕获几何和运动结构的分布,并使用一种新颖的距离度量来评估生成 - CVPRDexArt:对具有关节的对象进行通用的熟练操纵的基准测试
为了实现通用的机器人,我们需要使机器人像人类一样操作日常关节物体。本论文提出了一种新的基准测试 DexArt,并研究了具有关节物体的熟练操作的通用性。我们使用强化学习和三维表示学习来实现泛化,通过广泛的研究,提供了 3D 表示学习如何影响决 - CVPR从网络图像中使用关键点伪标签学习关节点姿态
本文提出了一种可以利用少量标记为二维关键点的图片进行单目三维建模的方法,包括训练类别特定的关键点估计器、在未标记的网络图像上生成二维关键点伪标记和利用标记和自标记集合共同训练三维重建模型等步骤,实现了对多个复杂物体的三维重建,可以迅速启动模 - CVPRCARTO:类别和关节无关的复原关节对象
使用隐式物体中心表示法和编码器 / 解码器,提出了一种重建多个关节物体的方法,该方法可以在单个观察中推断多个未知物体的 3D 形状,6D 姿态,类型和状态,并且在虚拟和现实世界中都得到了很好的表现。
- 预测活动普通物品的运动计划
本文介绍了一种将移动机器人操作任务的规划问题转化为学习问题的方法,并提出了一种基于 ArtObjSim 模拟器的快速和灵活的 SeqIK+$ heta_0$ 运动规划表示方法和相应的学习模型,该方法在测试时可以快速准确地预测关节式对象的运动