Oct, 2023

基于交互的带有物体内部的主动三维重建

PDF
TL;DR利用感知、机器人对象交互和三维扫描的积极三维重建方法，恢复目标三维物体的外部和内部几何结构，通过分析各部分的互动性和机器人的部分操作来扫描遮挡区域，自动化操作通过内嵌 RGBD 传感器的 Fetch 机器人完成，最后重建所有未暴露的非活动部分和内部结构完成获取。
active 3d reconstructionvisual perceptionrobot-object interaction3d scanningpart manipulation
发现论文，激发创造
  • STAIR：语义目标驱动的主动隐式重建

    我们提出了一个新的框架，利用姿态化的 RGB-D 测量和 2D 语义标签作为输入，进行语义目标的主动重建，实现对感兴趣目标的自适应视角规划，从而在网格和新视角渲染质量方面实现更好的重建性能，超过不考虑语义的隐式重建基线和基于显式地图的最先进的语义目标主动重建流水线。

    Mar, 2024

  • 基于在线语义重构的主动场景理解

    提出一种基于 RGBD 重建和语义分割的机器人操作主动理解未知室内场景的新方法，利用离线估计的离散视野分数场来驱动机器人的勘探扫描，结合基于体素的实时语义标注，优化遍历路径和相机轨迹，从而实现高效准确的在线场景解析。

    Jun, 2019

  • RoSI：从少量关节图像中恢复三维形状内部

    该研究提出了一种 RoSI 学习框架，通过多视角和多关节图像从外部恢复 3D 模型的内部结构，并在实验中证实了该方法的泛化能力。

    Apr, 2023

  • 通过全景映射和 CAD 模型对齐重建交互式 3D 场景

    本文提出从机器人体验和交互的角度重新思考场景重建问题，通过 RGB-D 数据流实现一个交互场景的重建，该场景通过一个基于图的场景表示组织物体之间的物理常识来推理物体的可行性和上下文关系，并将物体网格替换为基于零件的关节 CAD 模型，以提供更细致的机器人交互。

    Mar, 2021

  • 三维实例感知语义映射与三维物体发现

    该文提出了一种用于机器人地图实时构建的方法，其中，在实时扫描的同时，使用语义实例识别和多帧数据关联技术来构建基于物体的语义地图。评估结果表明，该方法能够有效地识别和跟踪预测的物体实例，并与最先进的方法竞争。

    Mar, 2019

  • 手 - 物件交互式 3D 物体重建

    本研究介绍了一种利用在手扫描中提取三维手部动作并将其融合到三维重建管道中的方法，以实现即使是无特征和高度对称的物体的重建，这将对手持扫描技术的最新进展有重大贡献。

    Apr, 2017

  • 室内场景的完整三维模型预测

    本文提出了一种基于数据驱动的方法解释室内场景，并利用 CAD 3D 模型表示场景中的物体和墙壁布局，最终在 NYU 数据集上呈现了令人鼓舞的结果。

    Apr, 2015

  • 利用运动结构进行三维重建

    使用一对 HDR 摄像机并在室内移动地面机器人上以立体视觉配置进行拍摄，捕捉各种纹理和空间特征，然后利用我们的算法将数据作为输入，实现室内空间的三维重建和深度图可视化。

    Jun, 2023

  • 增量式物体数据库：从多个局部观测建立 3D 模型

    提出了一种使用移动代理逐步建立物体数据库的系统，从全局分割图中提取对象状的片段，并将其储存在数据库中，然后匹配和合并以创建和改进对象模型，该方法不需要场景中形状的先前知识。

    Aug, 2018

  • AutoRecon：三维物体自动发现与重建

    本文介绍了一种名为 AutoRecon 的新型框架，该框架利用自我监督的 2D 视觉转换器功能，通过多视图图像自动发现和重建对象，并使用分解的神经场景表示进行密集监督，从而实现了准确的对象重建和分割。

    May, 2023