学习多视角三维点云配准
提出了一个端到端的框架,用于学习 3D 点云的本地多视图描述符。利用可微分的渲染器将多视图表示集成到神经网络中,设计了软视图池化模块来聚合视角间的卷积特征,实验结果表明,本文方法在现有的 3D 配准基准上更优秀。
Mar, 2020
我们提出了一种无监督方法 (UnsupervisedR&R),从原始 RGB-D 视频中学习点云配准,通过可微的对齐和渲染,强制实现帧间的光度和几何一致性,实现三维场景的自动对齐。实验结果表明,该方法在室内场景数据集上优于传统方法,并具有竞争力的监督几何点云注册方法。
Feb, 2021
本文提出了一种新的多视点点云配准方法,使用神经网络评估扫描对之间的重叠,构建稀疏的姿态图,并在 IRLS 方案中设计了一种新的历史加权函数以提高对异常边缘的强鲁棒性,实验结果表明,相对于现有方法,我们的方法在 3DMatch 数据集上实现了 11% 的更高配准召回率,在 ScanNet 数据集上实现了约 13% 的更低配准误差,降低了约 70% 的必要的成对注册。
Apr, 2023
该论文介绍了一种动态方法,通过多次迭代点云数据的注册过程,识别匹配点聚类区域,从而删除噪点,并通过评估每个注册阶段的结果以提高网络效率。实验证明,该模型相较于其他方法在相似结果上显著减少时间消耗,室内数据集 (3DMatch) 速度提升超过 41%,室外数据集 (KITTI) 速度提升 33%,同时保持竞争性的注册召回需求。
Dec, 2023
我们研究了 3D 注册问题的一个变种,名为多模型 3D 注册。在多模型注册问题中,我们给出两个描绘了不同姿态下一组物体(可能包括属于背景的点)的点云,并且我们希望同时重建出这两个点云之间所有物体的运动。该方法通用于标准的 3D 注册,其中需要重建出单个姿态,例如传感器描绘静态场景的运动。此外,它为相关的机器人应用提供了数学上的基础,例如,机器人上的深度传感器感知动态场景,并且目标是在同时恢复出自身的运动(从静态部分场景中)以及所有动态物体的运动。我们假设一个基于对应关系的设置,在两个点云之间存在着匹配关系,同时考虑了这些对应关系受到异常值干扰的实际情况。然后,我们提出了一种基于期望最大化(Expectation-Maximization)的简单方法,并建立了 EM 方法收敛到真实结果的理论条件。我们在从桌面场景到自动驾驶场景的模拟和实际数据集上评估了该方法,并证明其与最先进的场景流方法相结合时的有效性。
Feb, 2024
该研究提出了一种新的注册框架 HumanReg,通过学习两个人体点云之间的非刚性变换,引入了身体先验来有效处理这种类型的点云。与大多数现有的需要昂贵的点对点流注释的监督注册技术不同,HumanReg 可以以自我监督的方式进行训练,借助一组新的损失函数。为了使我们的模型更好地收敛于实际数据,我们还提出了预训练策略以及一个由动态、稀疏人体点云及其自动生成的地面真值注释组成的合成数据集(HumanSyn4D)。我们的实验表明,HumanReg 在 CAPE-512 数据集上实现了最先进的性能,在另一个更具挑战性的真实世界数据集上实现了定性结果。此外,我们的消融研究证明了合成数据集和新的损失函数的有效性。我们的代码和合成数据集可在此 https 网址找到。
Dec, 2023
提出了 MultiBodySync,一个新颖的、端到端可训练的多体运动分割和刚体配准框架,利用光谱同步和迭代深度声明网络解决多扫描多体情形下的运动分割和匹配问题,实现了在不同对象类别上的强泛化能力。
Jan, 2021
本研究提出了一种零样本点云配准方法 ZeroReg,通过将图像特征从关键点传递到点云中,利用 3D 几何邻域信息构建时引入的图像特征来解决传统方法中需要在特定数据集上进行训练的问题,因此,ZeroReg 可在点云配准任务中实现出色的性能。
Dec, 2023