Apr, 2023

RoSI：从少量关节图像中恢复三维形状内部

PDF
TL;DR该研究提出了一种 RoSI 学习框架，通过多视角和多关节图像从外部恢复 3D 模型的内部结构，并在实验中证实了该方法的泛化能力。
发现论文，激发创造
  • 基于交互的带有物体内部的主动三维重建

    利用感知、机器人对象交互和三维扫描的积极三维重建方法，恢复目标三维物体的外部和内部几何结构，通过分析各部分的互动性和机器人的部分操作来扫描遮挡区域，自动化操作通过内嵌 RGBD 传感器的 Fetch 机器人完成，最后重建所有未暴露的非活动部分和内部结构完成获取。

    Oct, 2023

  • SM$^3$: 基于多视角二维图像的自监督多任务建模 对关节物体

    在机器人领域中，重建现实世界物体并估计其可移动关节结构是核心技术。我们提出了一种自我监督的交互感知方法 SM$^3$，通过利用交互前后捕捉的多视角 RGB 图像，来建模关节物体、识别可移动组件和推断旋转关节参数。通过从捕捉到的 2D 图像中构建 3D 几何和纹理，SM$^3$ 在重建过程中实现可移动组件和关节参数的综合优化，无需注释。此外，我们还引入了 MMArt 数据集，它是 PartNet-Mobility 的扩展，包含多视角和多模态的涵盖多种类别的关节物体数据。评估结果显示，在各个类别和物体上，SM$^3$ 优于现有的基准，并且其在现实场景中的适应性已经得到了充分验证。

    Jan, 2024

  • ARTIC3D：从嘈杂的网络图片集中学习鲁棒的关节式 3D 模型

    ARTIC3D 是一种自监督框架，通过 2D 扩散先后提取骨架表面表示和指导 3D 优化，估算高保真度的图形和纹理，且可产生更真实的动画效果。

    Jun, 2023

  • 自监督神经骨骼形态和外貌模型

    本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

    May, 2022

  • 稀疏多物体渲染与比较

    通过引入多目标检测网络，本研究在 CAD 模型、3D 形状、姿势估计领域取得了最先进的表现，提高了实例对齐准确度，与多视角方法相当。

    Oct, 2023

  • FvOR: 面向少视角物体重建的鲁棒联合形状与姿态优化

    本文基于学习的方法提出一种多视角 3D 物体重建算法 FvOR，该算法利用神经网络模块快速、准确地估计 3D 几何和相机位姿。我们在 ShapeNet 上进行了大量测试，结果表明该方法不仅取得了最佳的重建效果，而且比目前最新的 IDR 算法快两个数量级。

    May, 2022

  • 从 RGB-D 视频中重建带骨骼的关节式模型

    该研究提出了一种使用深度数据构建可追踪的关节对象完整绑定形式建模的方法，该方法包括 deformable mesh tracking，motion segmentation，spectral clustering，嵌入式骨架和蒙皮权重。

    Sep, 2016

  • LASR: 从单目视频学习关节形状重建

    本文提出了一种无模板的分析合成策略的方法，可以从单个视频中学习三维形状，有效地重建了人、动物和未知类别对象的非刚性三维结构。

    May, 2021

  • 未知关节物体的数字双胞胎建模的神经隐式表示

    我们通过两个不同关节状态的物体的两个 RGBD 扫描构建未知关节物体的数字孪生问题，通过分解成两个阶段并采用显式建模，我们的方法能够重建物体形状并恢复关节模型，通过利用图像、3D 重建和运动学信息，我们的方法相比之前的工作具有更高的准确性和稳定性，并且能够处理多个活动部件并不依赖于任何物体形状或结构的先验知识。

    Apr, 2024

  • 从 3D 范围数据中恢复关节式物体模型

    本文介绍了一种基于无监督学习的算法，可以从 3D 点云数据中自动分解复杂的关节式物体模型，定位其各部分的位置，并还原其关节连接，方法通过无刚性变形技术配合 EM 算法和图像模型实现，可在避免局部最大值的情况下获取大量物体部分。

    Jul, 2012