ECCVJul, 2020

使用稀疏点 - 体卷积搜索高效的 3D 架构

PDF
TL;DR提出了一种轻量级的 Sparse Point-Voxel Convolution 模块作为基础，通过基于 SPVConv 的灵活体系结构设计空间，实现了 3D Neural Architecture Search 以搜索高效而有效的网络体系结构，并将该方法应用于自动驾驶和 3D 目标检测领域，取得了较好的实验结果。
self-driving cars3d perception modelssparse point-voxel convolution3d neural architecture searchsemantickitti
发现论文，激发创造
  • PVNAS: 3D 点 - 体素卷积神经结构搜索

    该研究通过结合基于点和基于体素的模型，提出一种硬件高效的三维卷积方法，并进一步融合 稀疏卷积，以更有效地处理大场景，从硬件效率的角度系统研究三维深度学习。在此基础上，引入三维神经架构搜索来探索最佳三维网络架构，并在六个典型基准数据集上评估其性能，实现 1.8-23.7 倍的加速，已应用于 MIT Driverless 无人驾驶车辆上，实现了更大的检测范围，更高的准确性和更低的延迟。

    Apr, 2022

  • 多模态三维物体检测的虚拟稀疏卷积

    本文提出了一种新的虚拟稀疏卷积操作算子 VirConv (Virtual Sparse Convolution)，并基于此设计了 VirConvNet，用于快速且有效地进行基于虚拟点的 3D 目标检测，并在 KITTI 3D car 检测中取得了领先的成果，代码公开。

    Mar, 2023

  • 汽车雷达目标检测网络中的稀疏性利用

    本文研究了稀疏卷积物体检测网络在自动驾驶系统中的应用，通过与基线模型对比，证明了 SKPP-DPVCN 架构在 Car AP4.0 的表现上超过了基线模型和之前的最新技术，同时在平均尺度误差上也实现了显著减少。

    Aug, 2023

  • 使用内存高效稀疏卷积的自动驾驶实时三维语义占位预测

    自动驾驶车辆中，实时理解自身车辆周围的三维环境至关重要。本文介绍一种从前视二维相机图像和 LiDAR 扫描中提取特征并使用稀疏卷积网络（Minkowski Engine）进行三维语义占用预测的方法，以解决实时应用中的高计算需求和稀疏场景完整性的问题。

    Mar, 2024

  • 快速稀疏 3D 卷积网络使用 VDB

    我们提出了一种新的卷积神经网络实现，针对稀疏的 3D 数据推理进行了优化。该实现使用 NanoVDB 作为数据结构来存储稀疏张量，在保持高性能的同时占用相对较小的内存。我们证明，该架构在高分辨率 3D 目标分类网络上的速度大约比最先进的密集卷积神经网络模型快 20 倍。

    Nov, 2023

  • SparseOcc（稀疏隐含表示）：重新考虑基于视觉的语义占用预测

    提出了 SparseOcc，一种受稀疏点云处理启发的高效占据网络，利用了无损稀疏潜在表示的三个关键创新。通过空间分解的 3D 稀疏卷积核执行潜在补全的 3D 稀疏扩散器；通过特征金字塔和稀疏插值从其他尺度获取信息；将 Transformer 头改造为稀疏变种。SparseOcc 在 FLOP 上实现了惊人的 74.9% 减少，同时在精确度上有所提高。

    Apr, 2024

  • 使用子流形稀疏卷积网络进行 3D 语义分割

    本研究提出了一种新的稀疏卷积操作，旨在更高效地处理空间稀疏数据，并使用其开发出空间稀疏卷积网络 (SSCNs)。我们在涉及三维点云的语义分割任务中展示了这种模型的强大性能，特别是我们的模型在最近一个语义分割竞赛的测试集上超越了所有以前的最新技术。

    Nov, 2017

  • 高效三维深度学习的点云卷积神经网络

    本文提出了一种称为 Point-Voxel CNN（PVCNN）的算法，其使用点的形式来表示三维输入数据以减少内存消耗，并通过使用体素来执行卷积以提高效率。该算法在语义分割数据集上实现了比基线模型更高的准确性，同时还在速度上超过了最先进的基于点的模型。

    Jul, 2019

  • 基于 Focal Sparse 卷积网络的 3D 物体检测

    本文提出了两个基于可学习特征稀疏性和位置重要性预测的新模块：焦点稀疏卷积和其多模式变体，可以很容易地替代现有稀疏卷积神经网络中的基本组件，并以端到端的方式联合训练，该新模块在 KITTI、nuScenes 和 Waymo 基准测试上进行了广泛实验，并在 nuScenes 测试基准中胜过了所有现有的单一模型条目。

    Apr, 2022

  • SPLATNet: 稀疏网格网络用于点云处理

    本文提出一种直接以高维网格中的稀疏采样点集合形式处理点云的网络架构，采用稀疏双边卷积层作为构建块，实现对网格的有效卷积计算，可以灵活地进行分层和空间感知特征学习，并且可以轻松地将基于点或基于图像的表示方法应用于网络中，实验证明本文的方法在三维分割任务中胜过现有的最先进技术。

    Feb, 2018