基于学习的 ICP 场景重构

CVPRDec, 2018

Scene Recomposition by Learning-based ICP

Hamid Izadinia, Steven M. Seitz

TL;DR使用深度传感器在房间中捕获对象的 3D 模型，采用基于深度强化学习的学习式 ICP 方法对 CAD 模型进行对齐，优于先前文献中的 ICP 方法，能够在实际场景中实现高质量结果的对象对齐。

Abstract

By moving a depth sensor around a room, we compute a 3D CAD model of the environment, capturing the room shape and contents such as chairs, desks, sofas, and tables. Rather than reconstructing geometry, we match, place, and align each object in the scene to thousands of cad models of o

3d scanning cad models deep reinforcement learning object alignment real scene scans

发现论文，激发创造

SegICP: 深度语义分割与姿态估计

该研究提出了 SegICP，一种用于实现物体识别和位姿估计的新型解决方案，它采用卷积神经网络和多假设点云注册相结合的方法，实现了强大的像素级语义分割和准确的实时六自由度姿势估计，快速提高了机器人系统的感知速度和稳健性。

Mar, 2017

ICP-Flow: 利用 ICP 进行 LiDAR 场景流估计

设计了一种学习无关的流估计器 ICP-Flow，通过在自动驾驶中包含刚性运动假设来提高目标关联和局部刚性变换估计的性能。在场景流估计中，ICP-Flow 在其他模型无法提供有意义结果的长时间间隔（最高 0.5 秒）内展现出优越性能。

Feb, 2024

自动驾驶场景流的激光雷达重新评估

通过应用 ICP 运动补偿和分段刚性假设约束，结合测试时间优化方法，自监督 LiDAR 场景流估计技术可以更加有效地解决主要挑战，而不需要训练数据，提升了真实数据上的性能。

Apr, 2023

SceneCAD：基于 RGB-D 扫描的物体对齐和布局预测

本文提出一种新的方法，通过联合优化 CAD 模型对齐以及场景布局的估计，显式建模物体间及物体与布局之间的相互关系，通过引入 Hierarchical layout prediction 方法和 message-passing graph neural network 模型，实现了全局一致的场景 CAD-based 表示，实验结果表明相比现有算法准确率显著提高，对于增强现实或虚拟现实等内容创建等应用具有广泛的适用性。

Mar, 2020

通过密集场景匹配学习相机定位

本文提出一种基于 DSM 和 CNN 的相机场景无关的定位方法，可应用于大范围场景，能够在时间领域实现额外的性能提升，大大优于 SANet 等现有方法。

Mar, 2021

通过全景映射和 CAD 模型对齐重建交互式 3D 场景

本文提出从机器人体验和交互的角度重新思考场景重建问题，通过 RGB-D 数据流实现一个交互场景的重建，该场景通过一个基于图的场景表示组织物体之间的物理常识来推理物体的可行性和上下文关系，并将物体网格替换为基于零件的关节 CAD 模型，以提供更细致的机器人交互。

Mar, 2021

SAGE-ICP: 语义信息辅助 ICP

该论文介绍了一种名为 SAGE-ICP 的新型语义信息辅助 ICP 方法，通过三维卷积网络提取全扫描的及时有效的语义信息，并将这些点级标签深入应用于配准的各个部分，包括语义体素下采样、数据关联、自适应局部地图和动态车辆去除，实验证明该方法在大规模场景中可以提高定位的准确性，即使语义信息存在一定误差，同时保持实时性能，即快于传感器帧速率。

Oct, 2023

DeepICP: 一种用于 3D 点云配准的端对端深度神经网络

DeepICP 是一种端到端的学习框架，采用多种深度神经网络结构来实现 3D 点云的配准，并集成了局部相似性和全局几何约束以提高配准精度和鲁棒性。

May, 2019

Scan2CAD：RGB-D 扫描中的 CAD 模型对齐学习

Scan2CAD 是一种数据驱动的方法，可以学习将形状数据库中的 3D CAD 模型对齐到商品 RGB-D 扫描的噪声和不完整几何形状中，其可用于室内场景的三维重建。该方法使用三维卷积神经网络来预测 CAD 模型与其对应扫描对象之间的对应关系，并通过变分能量最小化将 CAD 模型与重构对齐，其在 Scan2CAD 基准测试中表现优异。

Nov, 2018

移动 SLAM: 弹性场景中全无监督深度学习

该研究提出了一种基于深度学习的方法来将视频分解为三维几何（摄像机和深度）、运动物体和它们的运动，其中没有监督。通过最小化合成图像和对应真实图像之间的误差，可以完全无监督地训练预测姿态和深度的深度网络，同时在图像的小区域内预测不同的姿态，实现 6D 物体运动的丰富模型，实现了在 KITTI 上无监督里程计和深度预测的非常有竞争力的性能，同时在 EPIC-Kitchens 上实现了自动恢复深度、里程、对象分割或运动的新能力。

May, 2021