Aug, 2020

ScrewNet：使用螺旋理论从深度图像中估计独立类别的关节模型

PDF
TL;DR本文提出了一种名为 ScrewNet 的方法，可以直接估计物体的运动模型，从而帮助机器人在人类环境中与各种关节物体如橱柜、抽屉和洗碗机进行交互。该方法利用螺旋理论统一不同类型的运动，通过无需先验知识的深度图像来进行模型估计。在两个基准数据集上的评估结果表明，ScrewNet 能够成功地估计不同运动模型下的新物体，且平均精度较之前最先进的方法更好。
robotsarticulated objectsscrewnetarticulation modeldepth images
发现论文，激发创造
  • 基于分布深度的物体关节模型估计

    提出了一种基于深度图像学习关节模型分布的方法，通过螺旋理论、von Mises-Fisher 分布和 Stiefel 流形的数学结构，提供一种有效的、数学上严谨的表示形式，并结合 DUST-net 神经网络提供模型的不确定性评估。

    Aug, 2021

  • CA$^2$T-Net: 单张图片的类别无关的三维骨骼动作迁移

    本研究使用神经网络方法实现单张图片到静止 3D 模型之间的运动转移，通过预测物体姿态、部件分割和相应的运动参数来复制输入图片中呈现的曲折运动，该方法适用于任意类别的物体且只用合成数据进行训练。

    Jan, 2023

  • 类别层级关节对象姿态估计

    本文介绍了一种使用深度图像实现类别级姿态估计的新方法，该方法基于 Articulation-aware Normalized Coordinate Space Hierarchy（ANCSH）构建了一种针对不同类别中的关节控制物体各个部分的规范表示，并提出了基于 PointNet ++ 的深度网络来预测 ANCSH。实验结果表明，该模型能够实现更好的物体姿态估计和关节参数估计。

    Dec, 2019

  • 自监督神经骨骼形态和外貌模型

    本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

    May, 2022

  • ARTIC3D：从嘈杂的网络图片集中学习鲁棒的关节式 3D 模型

    ARTIC3D 是一种自监督框架，通过 2D 扩散先后提取骨架表面表示和指导 3D 优化，估算高保真度的图形和纹理，且可产生更真实的动画效果。

    Jun, 2023

  • 从视觉演示中学习关节动作

    该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法，以便于机器人能够独立使用这些物体，这种方法不需要先前的物体模型，并使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。

    Feb, 2015

  • FlowBot3D：学习 3D 关节流来操纵关节对象

    采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

    May, 2022

  • 利用空间连续的神经隐式表示学习关节物体的分部运动

    通过神经网络模型，本研究提出一种新的框架来明确分解关节物体的部分运动，通过预测部分表面上的点的转换矩阵，使用空间连续的神经隐式表示来平滑地建模部分运动，在对不同类别的关节物体进行实验的数量化和质量化结果证明了我们的方法的有效性。

    Nov, 2023

  • 未知关节物体的数字双胞胎建模的神经隐式表示

    我们通过两个不同关节状态的物体的两个 RGBD 扫描构建未知关节物体的数字孪生问题，通过分解成两个阶段并采用显式建模，我们的方法能够重建物体形状并恢复关节模型，通过利用图像、3D 重建和运动学信息，我们的方法相比之前的工作具有更高的准确性和稳定性，并且能够处理多个活动部件并不依赖于任何物体形状或结构的先验知识。

    Apr, 2024

  • 基于自监督的类别级联物体姿态估计与部件级 SE (3) 等变性

    这篇论文提出了一种基于自监督学习的方法，通过部分等变形状分析提取规范形状和物体姿态，再通过刚性变换描述部件从规范空间到相机空间的转换，实现未知关节感知物体的层次化姿态估计。

    Feb, 2023