通过自适应稀疏连接提高深度学习的泛化能力

ICMLJun, 2019

On improving deep learning generalization with adaptive sparse connectivity

Shiwei Liu, Decebal Constantin Mocanu, Mykola Pechenizkiy

TL;DR本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

Abstract

Large neural networks are very successful in various tasks. However, with limited data, the generalization capabilities of deep neural networks

发现论文，激发创造

本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。

Jul, 2023

本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

Nov, 2016

本文介绍了一种基于稀疏连接实现深度神经网络的方法，并提出了一种有效的硬件架构，该方法可以减少高度复杂的神经网络的内存需求，并且可以降低能耗高昂的问题。该方法的实现可以在三个流行数据集上提高准确性，同时减少高达 90% 的连接和存储需求以及 84% 的能耗消耗。

Nov, 2016

现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

Jan, 2024

介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

Feb, 2019

我们提供了一种针对稀疏连接的前馈神经网络进行训练的保证方法，在学习线性网络的先前技术的基础上，我们展示了它们也可以有效地用于学习非线性网络，并在涉及输入标签和得分函数的时候操作矩阵，证明它们在温和条件下可以产生深层网络第一层的权重矩阵，实践中，我们的方法的输出可以用作梯度下降的有效初始值。

Dec, 2014

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

本文介绍了一种针对稀疏神经网络的并行训练算法、非可训练参数激活函数、隐藏神经元重要性指标等三个新型贡献，该方法能够最大程度地利用稀疏神经网络的潜力。实验结果表明，这种方法具有最前沿的性能，同时为实现环保型人工智能奠定了基础。

Feb, 2021

本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。

Nov, 2022

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020