本文提出了一种新颖的跨模态卷积神经网络（X-CNNs），通过在更大规模的网络拓扑中处理梯度下降专用的CNN，允许在网络的类似隐藏层之间进行无限制的信息流和/或权重共享，具有很好的泛化能力，最终表现优于标准CNN和FitNet4架构，特别在稀疏数据环境中表现更佳

Oct, 2016

本文介绍一种利用CNNs 去处理罕见数据的工具套件，包括直接稀疏卷积、注意力机制避免填充，以及适用于标准学习框架的反向传播算法改进，可以实现比传统密集框架更低的内存足迹和计算时间。

Jan, 2018

本文提出了一种稀疏DenseNet的方法，可以使神经网络在更低的参数和计算代价下实现深度、宽度和连接的同时，在CIFAR10和SVHN数据集上比现有state-of-the-art模型的性能更优，并且相比原始DenseNet小2.6倍，速度快3.7倍。

Apr, 2018

本文研究了多层稀疏模型的构建与应用，将其与卷积神经网络和全连接网络进行了关联，提出一种新的综合算法——Holistic Pursuit算法，可以同时估计所有模型中的表示，并在实验中取得了良好的表现。

Apr, 2018

本文研究了通过发展一种称为稀疏动量的算法，实现在深度神经网络训练过程中，保持稀疏权重的同时实现稠密表现水平的加速训练方法，实验证明稀疏动量可靠地重现稠密表现水平并提供最多5.61倍的训练加速度。

Jul, 2019

本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于MobileNet v1，MobileNet v2和EfficientNet等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

Nov, 2019

本文提出了SparseTrain来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain平均可实现约2.7倍的加速和2.2倍的能量效率提高。

Jul, 2020

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

本文主要介绍了利用大规模稀疏结构提高卷积神经网络推理效率的方法， 开发了一种名为 FSCNN 的稀疏卷积神经网络推理系统，能够在一定的稀疏程度下优于标准深度学习库 PyTorch，但遇到高优化密集运算时推理效率有一定局限性，因此推荐采用粗粒度稀疏度进行通用模型压缩。

Dec, 2022

本研究探讨了稀疏编码理论与深度学习的交集，旨在提升对高级神经网络架构中特征提取能力的理解。我们提出了一类新型深度稀疏编码模型，并建立了其唯一性和稳定性性质的彻底理论分析，揭示了其在稀疏特征学习任务中的收敛速率，从而为卷积神经网络在稀疏特征提取中的应用奠定了坚实的理论基础。

Aug, 2024