Dec, 2023

LASA：基于大规模对齐形态注解数据集的真实扫描实例重建

PDF
TL;DR从 3D 场景中实例形状重建涉及恢复语义实例级别的多个对象的完整几何形状。我们介绍了一个大规模对齐形状注释数据集 LASA，其中包括对齐 920 个现实场景扫描的 10,412 个高质量 CAD 注释。我们提出了一种新的基于扩散的跨模态形状重建方法（DisCo），它通过混合特征聚合设计来融合多模态输入并恢复高保真度的对象几何形状。此外，我们还提出了一种基于占据的 3D 对象检测方法（OccGOD），并展示了我们的形状注释提供的场景占据线索可以进一步提高 3D 对象检测。通过 LASA 的支持，大量实验证明我们的方法在实例级别场景重建和 3D 对象检测任务中实现了最先进的性能。
instance shape reconstructiondata-driven learningaligned shape annotation datasetdiffusion-based cross-modal shape reconstructionoccupancy-guided 3d object detection
发现论文，激发创造
  • SCoDA：面向真实扫描的域自适应形状完成

    该研究提出了一种新的任务 SCoDA，通过从合成数据到真实数据的领域自适应解决真实扫描形状完整性的问题，并使用一个新的数据集 ScanSalon 进行评估，提出了跨域特征融合方法和自我训练框架。实验证明改进了 6％至 7％的 mIoU。

    Apr, 2023

  • 准确灵活的实例重建的 CAD 先验

    提出一种自动高效的 3D 目标重建方法，利用先验 CAD 模型，通过本文贡献的局部隐式形状模型（LISM）的对象检测方法，可从小型或大型（125m³）物体上高精度重建。

    May, 2017

  • LASR: 从单目视频学习关节形状重建

    本文提出了一种无模板的分析合成策略的方法，可以从单个视频中学习三维形状，有效地重建了人、动物和未知类别对象的非刚性三维结构。

    May, 2021

  • LASOR: 通过合成有遮挡感知数据和神经网格渲染学习精确的三维人体姿态和形状

    针对人体姿态和形状估计中的遮挡问题，特别是人物之间的遮挡问题，本文提出了一种新的框架，通过合成 occlusion-aware 阴影和 2D 关键点方便估计 SMPL 姿态和形状参数，使用三维神经网格渲染器实现了实时新学习，已在现有数据集中表现出优越性能。

    Aug, 2021

  • 基于神经渲染的自动驾驶城市场景重建

    利用多模态数据结合深度学习模型进行密集三维重建，从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。

    Feb, 2024

  • 从 ShapeNet Core55 进行大规模 3D 形状重建和分割

    用 ShapeNet 数据库的数据和注释介绍了一个大规模的 3D 形状理解基准测试。以部分级别分割 3D 形状和从单个视图图像重建 3D 形状为任务，其中 10 个团队参加了挑战，并且最佳表现团队在两个任务上均优于现有技术。各种 3D 建模方法都被用于这两个任务中，并提出了一些新的深度学习架构。我们总结了每个团队使用的技术和相应的表现，并总结了来自报告结果的主要发现和未来工作的可能趋势。

    Oct, 2017

  • Scan2CAD：RGB-D 扫描中的 CAD 模型对齐学习

    Scan2CAD 是一种数据驱动的方法，可以学习将形状数据库中的 3D CAD 模型对齐到商品 RGB-D 扫描的噪声和不完整几何形状中，其可用于室内场景的三维重建。该方法使用三维卷积神经网络来预测 CAD 模型与其对应扫描对象之间的对应关系，并通过变分能量最小化将 CAD 模型与重构对齐，其在 Scan2CAD 基准测试中表现优异。

    Nov, 2018

  • 同时进行地图和物体重建

    本文提出了一种用于从 LiDAR 重建大规模城市场景的动态表面重建方法，通过全局优化降低预测表面与输入 LiDAR 扫描数据的距离，实现了对刚性移动物体的运动补偿，并展示了该系统在自动标记局部注释序列和生成难以标记问题的真实注释方面的应用。

    Jun, 2024

  • AutoInst: LiDAR 3D 扫描的自动实例分割

    通过无监督学习的方法，使用 LiDAR 传感器，构建了一个算法来预测 3D 场景中的实例分割，其中通过权重代理图生成 3D 实例掩模建议，并使用自我训练算法对初始嘈杂的提议进行强化，以生成场景级实例分割。在 SemanticKITTI 基准测试中，该方法相较于最佳基准模型获得了 13.3% 的平均准确率和 9.1% 的 F1 分数提升。

    Mar, 2024

  • ROCA：单图像下的强鲁棒性 CAD 模型检索和对齐

    ROCA 是一种新颖的端到端方法，用于从形状数据库中获取和对齐 3D CAD 模型到一幅输入图像，从而实现对 2D RGB 观察场景的 3D 感知，该方法基于密集的二维 - 三维物体对应和 Procrustes 对齐的可微对齐优化，同时通过利用 2D-3D 对应来学习几何相似的 CAD 模型，从而为 CAD 检索提供稳健的对齐结果。实验结果表明，在来自 ScanNet 的具有挑战性的实际图像中，ROCA 显著提高了检索感知 CAD 对齐精度，从 9.5% 提高到 17.6%。

    Dec, 2021