VMNet:基于体素 - 网格网络的几何感知三维语义分割
我们提出了 ImGeoNet,这是一个基于多视图图像的 3D 物体检测框架,通过图像诱导的几何感知体素表示对 3D 空间进行建模。ImGeoNet 通过学习从多视图图像中诱导几何感知来减轻体素空间中的混淆,并且在推理阶段只需要来自多视图的图像。此外,我们可以利用强大的预训练 2D 特征提取器来优化我们的表示,从而获得更强大的性能。通过在 ARKitScenes、ScanNetV2 和 ScanNet200 三个室内数据集上进行定量和定性实验,我们验证了 ImGeoNet 的有效性,并证明它在检测精度方面优于当前最先进的基于多视图图像的方法 ImVoxelNet。此外,ImGeoNet 在只利用 40 个视图的情况下,达到了与 ImVoxelNet 利用 100 个视图相当的结果,显示出较高的数据效率。此外,我们的研究表明,我们提出的图像诱导的几何感知表示可以使基于图像的方法在两种实际场景中实现比重点云方法 VoteNet 更高的检测准确性:(1)点云稀疏且嘈杂的场景,例如 ARKitScenes,以及(2)涉及多样化对象类别,特别是小对象类别的情况,例如 ScanNet200。
Aug, 2023
提出了 DualConvMesh-Nets (DCM-Net) 模型,它是一种基于 3D 几何数据的深层分层卷积神经网络,结合了两种卷积类型:测地线卷积和欧几里得卷积,并且还采用了几何处理领域中的网格简化方法来定义网格池化和反池化运算。实验结果表明,我们提出的模型在 3D 语义分割任务上取得了显著的性能提升并在三个场景分割基准测试中获得了竞争性的结果。
Apr, 2020
该论文提出了一种新的 Mesh 网络(MNet)用于平衡 2D / 3D 卷积神经网络中稀疏的层间信息和密集的层内信息,并在四个公共数据集上进行了综合实验,结果显示 MNet 具有优越性能。
May, 2022
本文提出了一种新颖的体积卷积神经网络,通过空间密集提取模块和注意力特征聚合模块从体素化三维数据中提取具有详细信息的判别特征,以实现具有语义一致性和高精度细节的分割任务,实验结果表明了在大规模数据集上进行形状部分分割任务时我们方法的有效性。
Sep, 2018
本研究提出了一种基于变分自编码器和径向基函数的点云分割算法,并引入了具有对称性的卷积神经网络进行形状分割,实验表明,在 ShapeNet 和 S3DIS 数据集上,该方法的性能优于当前的主流算法。
Nov, 2018
本文提出了 Sparse Voxel-Graph Attention Network (SVGA-Net) 网络,采用体素图和稀疏回归模块等方法,可从原始 LIDAR 数据中实现 3D 对象检测任务,通过实验验证了 SVGA-Net 的高效性和检测准确率。
Jun, 2020
本文通过重新审视三维网格的经典多视图表示方法,研究了几种技术,使其可用于三维语义网格的语义分割。给定一个从 RGBD 传感器重建的三维网格,本文方法有效地选取不同的虚拟视图,并渲染多个二维通道,以训练出有效的二维语义分割模型;最终将多视讯预测的特征融合到三维网格顶点上,预测网格语义分割标签。
Jul, 2020
我们提出了一种名叫 Hybrid Voxel Network(HVNet)的新型一阶段统一网络,用于基于点云的自动驾驶 3D 目标检测。在 KITTI 基准测试中,单个 HVNet 实现了最好的 mAP,并具有 31Hz 的实时推理速度。
Feb, 2020
本文提出了一种名为神经体维网格生成器的神经网络模型,可以从随机噪声或参考图像中生成高质量的三维网格结构,并且通过比较实验,证明了这种方法在使用体素作为输入时相对于其他最先进的方法更具有稳健性,并且拥有更好的性能。
Oct, 2022
GeoNet 是第一个深度学习结构用于对点云表达的曲面的内在结构建模,通过使用 GeoNet 与 PU-Net 和 PointNet ++ 等基线或骨干网络的融合方案来改善多个代表性任务的现有方法,包括点上采样、法向量估计、网格重建和非刚性形状分类。
Jan, 2019