SBNet: 用于快速推断的稀疏块网络

CVPRJan, 2018

SBNet: Sparse Blocks Network for Fast Inference

Mengye Ren, Andrei Pokrovsky, Bin Yang, Raquel Urtasun

TL;DR本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

Abstract

Conventional deep convolutional neural networks (CNNs) apply convolution operators uniformly in space across all feature maps for hundreds of layers - this incurs a high computational cost for real-time applications. For many problems such as object detection and semantic segmentation,

sparse convolution computation masks object detection cnn lidar

发现论文，激发创造

为卷积网络设计 BERT: 稀疏和分级掩码建模

本论文通过采用稀疏卷积和分层解码器等新技术，将 BERT - 风格的预训练方法推广到卷积神经网络领域，并且在 ResNet 和 ConvNeXt 等模型上进行了验证，在目标检测和实例分割等任务中，优于当前最先进的对比学习和变换器掩模建模方法。

Jan, 2023

FSCNN: 一种快速的稀疏卷积神经网络推理系统

本文主要介绍了利用大规模稀疏结构提高卷积神经网络推理效率的方法，开发了一种名为 FSCNN 的稀疏卷积神经网络推理系统，能够在一定的稀疏程度下优于标准深度学习库 PyTorch，但遇到高优化密集运算时推理效率有一定局限性，因此推荐采用粗粒度稀疏度进行通用模型压缩。

Dec, 2022

快速稀疏卷积神经网络

本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

Nov, 2019

稀疏不变卷积神经网络

本文提出了一种用于处理稀疏数据的卷积神经网络架构，采用了一种稀疏卷积层，能够在深度上采样中取得优异的实验效果，作者构建了一个新的基准数据集 KITTI benchmark 进行了验证。

Aug, 2017

利用和保持卷积网络中的稀疏性的推断、学习和注意力机制

本文介绍一种利用 CNNs 去处理罕见数据的工具套件，包括直接稀疏卷积、注意力机制避免填充，以及适用于标准学习框架的反向传播算法改进，可以实现比传统密集框架更低的内存足迹和计算时间。

Jan, 2018

使用稀疏卷积和指导剪枝加速 CNN

本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。

Aug, 2016

稀疏卷积神经网络

通过处理空间稀疏的输入，我们开发了一种 CNN，可更加高效地训练和测试大型深度 CNN，在手写识别和图像分类等问题上取得了良好的性能。该方法在 CASIA-OLHWDB1.1 和 CIFAR-10/CIFAR-100 数据集上实现了较低的测试误差率。

Sep, 2014

探究图像超分辨率中的稀疏性以实现高效推理

本文中，我们提出了一种基于 CNN 的 Sparse Mask SR (SMSR) 网络，以学习稀疏掩模，以便在保持可比较性能的同时，准确地定位和跳过冗余计算，从而提高 SR 网络的推理效率。

Jun, 2020

使用子流形稀疏卷积网络进行 3D 语义分割

本研究提出了一种新的稀疏卷积操作，旨在更高效地处理空间稀疏数据，并使用其开发出空间稀疏卷积网络 (SSCNs)。我们在涉及三维点云的语义分割任务中展示了这种模型的强大性能，特别是我们的模型在最近一个语义分割竞赛的测试集上超越了所有以前的最新技术。

Nov, 2017

稀疏 3D 卷积神经网络

研究了用于处理稀疏三维输入数据的卷积神经网络，并以 2D 三角晶格和 3D 四面体晶格的 CNN 效率为研究重点，适合于 3D 物体识别和时空对象分析等应用。

May, 2015