Mar, 2021

通过全景映射和 CAD 模型对齐重建交互式 3D 场景

PDF
TL;DR本文提出从机器人体验和交互的角度重新思考场景重建问题，通过 RGB-D 数据流实现一个交互场景的重建，该场景通过一个基于图的场景表示组织物体之间的物理常识来推理物体的可行性和上下文关系，并将物体网格替换为基于零件的关节 CAD 模型，以提供更细致的机器人交互。
scene reconstructionembodied agentsrgb-d data streamphysical common sensecad models
发现论文，激发创造
  • SceneCAD：基于 RGB-D 扫描的物体对齐和布局预测

    本文提出一种新的方法，通过联合优化 CAD 模型对齐以及场景布局的估计，显式建模物体间及物体与布局之间的相互关系，通过引入 Hierarchical layout prediction 方法和 message-passing graph neural network 模型，实现了全局一致的场景 CAD-based 表示，实验结果表明相比现有算法准确率显著提高，对于增强现实或虚拟现实等内容创建等应用具有广泛的适用性。

    Mar, 2020

  • 室内场景的完整三维模型预测

    本文提出了一种基于数据驱动的方法解释室内场景，并利用 CAD 3D 模型表示场景中的物体和墙壁布局，最终在 NYU 数据集上呈现了令人鼓舞的结果。

    Apr, 2015

  • 基于对抗学习方法的单目 RGB 图像实际可行的三维人类场景重建

    通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐，在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法，该学习方法实现了与现有基于优化的方法相当的三维重建质量，且不需要推理时间优化，适用于机器人导航等潜在应用中。

    Jul, 2023

  • DeepPanoContext: 全景三维场景理解，基于整体场景上下文图和基于关系的优化

    本研究提出了一种基于全景图像的新颖的三维场景理解方法，通过设计基于图神经网络的上下文模型来预测物体之间的关系和房间布局，以及可微分的基于关系的优化模块来优化物体排列，实现对全景三维场景的理解， 并制备了具有多样化房间布局和家具摆放的真实感合成数据集，在几何精度和目标布置方面优于现有方法。

    Aug, 2021

  • 三维实例感知语义映射与三维物体发现

    该文提出了一种用于机器人地图实时构建的方法，其中，在实时扫描的同时，使用语义实例识别和多帧数据关联技术来构建基于物体的语义地图。评估结果表明，该方法能够有效地识别和跟踪预测的物体实例，并与最先进的方法竞争。

    Mar, 2019

  • 基于交互的带有物体内部的主动三维重建

    利用感知、机器人对象交互和三维扫描的积极三维重建方法，恢复目标三维物体的外部和内部几何结构，通过分析各部分的互动性和机器人的部分操作来扫描遮挡区域，自动化操作通过内嵌 RGBD 传感器的 Fetch 机器人完成，最后重建所有未暴露的非活动部分和内部结构完成获取。

    Oct, 2023

  • STAIR：语义目标驱动的主动隐式重建

    我们提出了一个新的框架，利用姿态化的 RGB-D 测量和 2D 语义标签作为输入，进行语义目标的主动重建，实现对感兴趣目标的自适应视角规划，从而在网格和新视角渲染质量方面实现更好的重建性能，超过不考虑语义的隐式重建基线和基于显式地图的最先进的语义目标主动重建流水线。

    Mar, 2024

  • 利用开放词汇的实例分割实现无监督全景重建

    从场景的 RGB-D 图像中，我们提出了一种零样本全景重建方法，该方法利用开放词汇实例分割并利用密集广义特征传播部分标签和构建 3D 实例图进行关联来解决场景的全景分割和实例关联挑战。

    Jul, 2024

  • 3D 语义地图网络：3D 多目标重新识别中的地图构建

    我们研究了通过实体巡游进行的 3D 多目标重新识别任务，提出了 3D Semantic MapNet (3D-SMNet) 模型，它包括一个操作于 RGB-D 视频的 3D 物体检测器和一个可微的物体匹配模块，通过生成的实验和真实数据的联合训练，在真实世界的重新布置场景中取得了显著的改进。

    Mar, 2024

  • 在线互操作姿态优化协同大规模稠密三维重建

    本论文利用实时全局一致的重建系统和新的视觉惯性里程计方法，结合高质量的基于回归森林的定位方法，实现了第一款允许多用户合作使用普通硬件在半小时内重建整个建筑的系统。

    Jan, 2018