3D 扫描中的端到端 CAD 模型检索和 9DoF 对齐
Scan2CAD 是一种数据驱动的方法,可以学习将形状数据库中的 3D CAD 模型对齐到商品 RGB-D 扫描的噪声和不完整几何形状中,其可用于室内场景的三维重建。该方法使用三维卷积神经网络来预测 CAD 模型与其对应扫描对象之间的对应关系,并通过变分能量最小化将 CAD 模型与重构对齐,其在 Scan2CAD 基准测试中表现优异。
Nov, 2018
通过使用 FastCAD 方法,可以实时地检索和对齐给定场景中的所有对象的 CAD 模型,同时预测对齐参数和形状嵌入,加快了推理时间并提高了 3D 重建和对齐的准确性。
Mar, 2024
本文提出一种新的方法,通过联合优化 CAD 模型对齐以及场景布局的估计,显式建模物体间及物体与布局之间的相互关系,通过引入 Hierarchical layout prediction 方法和 message-passing graph neural network 模型,实现了全局一致的场景 CAD-based 表示,实验结果表明相比现有算法准确率显著提高,对于增强现实或虚拟现实等内容创建等应用具有广泛的适用性。
Mar, 2020
ROCA 是一种新颖的端到端方法,用于从形状数据库中获取和对齐 3D CAD 模型到一幅输入图像,从而实现对 2D RGB 观察场景的 3D 感知,该方法基于密集的二维 - 三维物体对应和 Procrustes 对齐的可微对齐优化,同时通过利用 2D-3D 对应来学习几何相似的 CAD 模型,从而为 CAD 检索提供稳健的对齐结果。实验结果表明,在来自 ScanNet 的具有挑战性的实际图像中,ROCA 显著提高了检索感知 CAD 对齐精度,从 9.5% 提高到 17.6%。
Dec, 2021
提出一种自动高效的 3D 目标重建方法,利用先验 CAD 模型,通过本文贡献的局部隐式形状模型(LISM)的对象检测方法,可从小型或大型(125m³)物体上高精度重建。
May, 2017
我们提出了一种自动化和高效的方法,用于检索通过移动 RGB-D 相机捕获的场景中物体的高质量 CAD 模型及其姿势,并使用渲染对比和蒙特卡洛树搜索算法实现了物体检索、CAD 模型和姿势估计的快速搜索。
Sep, 2023
基于 CAD 模型基元从 RGB 图像中感知 3D 结构可以有效地实现基于三维物体的场景表示,本文提出了 DiffCAD,这是一种第一个弱监督的条件生成方法,可以从 RGB 图像中检索和对齐 CAD 模型,通过扩散学习隐式概率模型来捕捉 CAD 对象在图像中的形状、姿态和尺度,实现了多个假设生成和对深度 / 尺度和形状匹配的歧义进行建模。
Nov, 2023
本研究通过引入 CAD-Deform 方法,提出了一种新的非刚性变形模型,实现了对从 3D 扫描中检索到的 CAD 模型的非刚性变形以达到更紧密的拟合效果,并在保持 CAD 模型高质量表面特性的同时,显著提高了扫描到的 CAD 模型的匹配度,从而能够更准确地数字化表示扫描实际环境,并保留了合成 CAD 环境中的重要几何特征。
Jul, 2020
该研究在处理 CAD 模型和多个物体出现在视频场景中的对齐问题中,提出一种基于神经网络和多视角约束的方法,自动恢复每个物体的九自由度姿态参数,提高物体的位姿参数估计精度,重建单个 CAD 表征的场景,与现有单帧方法进行比对,在 Scan2CAD 数据集上提高了 11.6%至 30.7%的类别平均准确性。
Dec, 2020