Jun, 2023

多模态预训练下的多任务 3D 建筑理解

PDF
TL;DR本文旨在探究基于 BuildingNet 数据集的 3D 建筑类型分类和部件分割的多种学习策略，提出了使用扩展的 ULIP、PointNeXt 和 PointNeXt 分割方法进行分类和分割任务的解决方案。在多模态预训练的前提下，最佳的多任务 PointNeXt-s 模型在验证集上达到了 59.36% 的准确率和 31.68 的 PartIoU，PointNeXt XL 模型在 BuildingNet-Points 分割测试集上达到了 31.33 的 PartIoU 和 22.78 的 ShapeIoU，显著提高了建筑网络论文中所述的 PointNet ++ 模型的性能，并在 CVPR23 StruCo3D 工作室的 BuildingNet 挑战中获得了第一名。
3d building type classificationpart segmentationpointnextmulti-task learningbuildingnet dataset
发现论文，激发创造
  • PointNeXt: 重新审视 PointNet++ 的改进训练和扩展策略

    本文对 PointNet ++ 进行了系统性研究，提出了一组改进的训练策略和可扩展的 PointNeXt，使用数据增强和优化技术以及增加模型大小来显着提高性能并在 3D 分类任务中实现了最新的最先进的结果。

    Jun, 2022

  • ULIP-2: 面向可伸缩的多模态 3D 预训练

    ULIP-2 是一个用于 3D 表示学习的多模态预训练框架，它创建了包含图像、语言和 3D 点云的三模态三元组数据集，拥有更强的可扩展性和综合性，并利用大型语言模型自动生成全面的 3D 对象语言描述来提高多模态预训练的效果，并在 ModelNet40 和 ScanObjectNN 等数据集上取得了令人瞩目的结果。

    May, 2023

  • ULIP: 学习用于三维理解的统一语言、图像和点云表示

    本篇论文提出了利用 ULIP 从图像、文本和 3D 点云中预训练而来的对象三元组学习统一的表示，以提高在受限数据情况下的 3D 理解，实验证明了该方法与多个最近的 3D 骨干网有着显著的提升。

    Dec, 2022

  • BuildingNet: 学习标记 3D 建筑物

    BuildingNet 是一个包含多个建筑类别的大规模 3D 建模数据集，使用图神经网络对建筑模型进行网格标注，并展示了图神经网络在 3D 网格标注方面的显著性能优势。

    Oct, 2021

  • LidarMultiNet: 面向 LiDAR 感知的统一多任务网络

    本文介绍了一种基于 LiDAR 的多任务网络 LidarMultiNet，它将 LiDAR 的三个主要感知任务：3D 物体检测，语义分割和全景分割统一起来。通过使用全局上下文汇聚（GCP）模块提取全局上下文特征，任务特定的头被添加到网络的顶部执行三种任务。LidarMultiNet 在 Waymo Open Dataset 和 nuScenes 数据集 上进行了广泛的测试，表明主要 LiDAR 感知任务可以在单个强网络中统一，并在既有 API 上取得最佳结果。

    Sep, 2022

  • LidarMultiNet: 一个将激光雷达语义分割、3D 目标检测和全景分割统一于单个多任务网络中的方法

    LidarMultiNet 利用深度神经网络，将 3D 语义分割、物体检测和全景分割等核心 LiDAR 感知任务统一在单一框架中，实现了最佳表现。

    Jun, 2022

  • 点云的无监督多任务特征学习

    该研究提出了一种无监督的多任务模型，用于联合学习点云上的点和形状特征，并定义了三个无监督任务来训练多尺度基于图形的编码器。结果表明，与之前的无监督模型相比，该模型在形状分类和分割基准上表现优异。在 ModelNet40 分类任务中，准确率达到 89.1％，在 ShapeNet 分割任务中，mIoU 为 68.2％，准确率为 88.6％。

    Oct, 2019

  • 小而强：用 U-Next 框架提升 3D 点云语义分割

    该研究提出了一种基于 U-Next 框架的语义分割方法，通过学习语义相似特征图的多尺度分层表示、跨尺度特征图融合及多级深度监督机制实现对大规模 3D 点云的有效分割，实验证明其在多个基准数据集上具有显著的优越性和有效性。

    Apr, 2023

  • 探索点云三维语义分割的空间上下文

    本文探讨了如何扩展 PointNet 架构以涵盖较大尺度的三维空间语义分割。通过两种扩展策略，该方法在室内和室外数据集上均取得了较好的结果。

    Feb, 2018

  • Building3D: 从点云中学习屋顶结构的城市级数据集和基准

    这篇论文介绍了一个城市建模的数据集 Building3D，它包括超过 160,000 幢建筑物的点云、网格和线框模型，覆盖爱沙尼亚的 16 个城市，面积约为 998 平方公里。作者通过对先进算法的评估发现 Building3D 存在高内类别差异、数据不平衡和大规模噪声等挑战。这个数据集是首个最大规模的城市建模基准，可以用于监督学习和自监督学习方法的比较。作者认为 Building3D 将促进未来在城市建模、航路规划、网格简化和语义 / 部分分割等领域的研究。

    Jul, 2023