快速稀疏 3D 卷积网络使用 VDB

Nov, 2023

Fast Sparse 3D Convolution Network with VDB

Fangjun Zhou, Anyong Mao, Eftychios Sifakis

TL;DR我们提出了一种新的卷积神经网络实现，针对稀疏的 3D 数据推理进行了优化。该实现使用 NanoVDB 作为数据结构来存储稀疏张量，在保持高性能的同时占用相对较小的内存。我们证明，该架构在高分辨率 3D 目标分类网络上的速度大约比最先进的密集卷积神经网络模型快 20 倍。

Abstract

We proposed a new convolution neural network implementation optimized for sparse 3d data inference. This implementation uses nanovdb as th

convolution neural network sparse 3d data inference nanovdb data structure high-resolution 3d object classification

发现论文，激发创造

稀疏 3D 卷积神经网络

研究了用于处理稀疏三维输入数据的卷积神经网络，并以 2D 三角晶格和 3D 四面体晶格的 CNN 效率为研究重点，适合于 3D 物体识别和时空对象分析等应用。

May, 2015

使用稀疏点 - 体卷积搜索高效的 3D 架构

提出了一种轻量级的 Sparse Point-Voxel Convolution 模块作为基础，通过基于 SPVConv 的灵活体系结构设计空间，实现了 3D Neural Architecture Search 以搜索高效而有效的网络体系结构，并将该方法应用于自动驾驶和 3D 目标检测领域，取得了较好的实验结果。

Jul, 2020

PVNAS: 3D 点 - 体素卷积神经结构搜索

该研究通过结合基于点和基于体素的模型，提出一种硬件高效的三维卷积方法，并进一步融合稀疏卷积，以更有效地处理大场景，从硬件效率的角度系统研究三维深度学习。在此基础上，引入三维神经架构搜索来探索最佳三维网络架构，并在六个典型基准数据集上评估其性能，实现 1.8-23.7 倍的加速，已应用于 MIT Driverless 无人驾驶车辆上，实现了更大的检测范围，更高的准确性和更低的延迟。

Apr, 2022

多模态三维物体检测的虚拟稀疏卷积

本文提出了一种新的虚拟稀疏卷积操作算子 VirConv (Virtual Sparse Convolution)，并基于此设计了 VirConvNet，用于快速且有效地进行基于虚拟点的 3D 目标检测，并在 KITTI 3D car 检测中取得了领先的成果，代码公开。

Mar, 2023

基于稀疏三维卷积神经网络的大规模形状检索

该论文评估了 S3DCNN 在大规模 3D 形状基准 ModelNet40 上的性能，并衡量其受输入形状体素分辨率的影响，证明其在训练和推理阶段的计算成本要低得多，并提出了高分辨率输入的好处可能会受到神经网络推广高级特征能力的限制。

Nov, 2016

SBNet: 用于快速推断的稀疏块网络

本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

Jan, 2018

高效三维深度学习的点云卷积神经网络

本文提出了一种称为 Point-Voxel CNN（PVCNN）的算法，其使用点的形式来表示三维输入数据以减少内存消耗，并通过使用体素来执行卷积以提高效率。该算法在语义分割数据集上实现了比基线模型更高的准确性，同时还在速度上超过了最先进的基于点的模型。

Jul, 2019

Vote3Deep：使用高效卷积神经网络快速检测三维点云中的物体

本文提出了一种在三维点云中有效检测对象的方法，使用卷积神经网络并利用稀疏性，提出了基于特征中心投票方案的卷积层和 L1 正则化，实现了高效的大规模三维数据处理，并在 KITTI 物体检测基准测试中表现出优异的成果。

Sep, 2016

使用子流形稀疏卷积网络进行 3D 语义分割

本研究提出了一种新的稀疏卷积操作，旨在更高效地处理空间稀疏数据，并使用其开发出空间稀疏卷积网络 (SSCNs)。我们在涉及三维点云的语义分割任务中展示了这种模型的强大性能，特别是我们的模型在最近一个语义分割竞赛的测试集上超越了所有以前的最新技术。

Nov, 2017

4D 时空卷积神经网络：Minkowski 卷积神经网络

使用 4D 卷积神经网络，通过稀疏张量和广义稀疏卷积提供的广泛高维函数，实现了针对 3D 视频的时空感知，并通过提出的混合核和三边静态条件随机场，优化了 7D 时空色度空间中的一致性问题。实验表明，与 2D 或 2D-3D 混合方法相比，只使用广义 3D 稀疏卷积的卷积神经网络可以获得更好的性能。此外，我们还表明，在处理 3D 视频时，4D 时空卷积神经网络不仅更加鲁棒，而且有时比 3D 卷积神经网络更快。

Apr, 2019