ICLRDec, 2014

使用稀疏连接证明神经网络训练方法

PDF
TL;DR我们提供了一种针对稀疏连接的前馈神经网络进行训练的保证方法，在学习线性网络的先前技术的基础上，我们展示了它们也可以有效地用于学习非线性网络，并在涉及输入标签和得分函数的时候操作矩阵，证明它们在温和条件下可以产生深层网络第一层的权重矩阵，实践中，我们的方法的输出可以用作梯度下降的有效初始值。
feedforward neural networkssparse connectivitylearningmomentsinitializers
发现论文，激发创造
  • 通过自适应稀疏连接提高深度学习的泛化能力

    本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

    Jun, 2019

  • 始终稀疏训练：引导随机探索下的连接增长

    现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

    Jan, 2024

  • 监督学习中的稀疏活动和稀疏连接

    本文提出了一个利用稀疏性来增强分类能力的模型，在该模型中，利用稀疏活动和稀疏连接来实现分类，实现这一目标的工具是一种稀疏度投影算子，该算子可以找到给定向量的最接近预定义的稀疏向量。在理论部分中开发了一种全面的理论来进行这种投影，并证明该投影在几乎所有地方均可微分，因此可以作为平滑的神经元转移函数实现。在 MNIST 数据库的实验中，分类性能可以通过稀疏活动或稀疏连接提高，并且两者的组合将显著优于经典的非稀疏方法。

    Mar, 2016

  • 通过神经切向传递发现可训练的稀疏网络

    本文介绍 “神经切向转移” 这一方法，通过在非标签环境下找到了训练动态和密集网络类似的可训练稀疏网络，通过标准的分类任务测试结果显示，这种方法能够更快地达到更高的分类性能。

    Jun, 2020

  • 深度神经网络的稀疏感知泛化理论

    本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。

    Jul, 2023

  • 前向和后向传播稀疏化提高神经网络训练效率

    该研究提出了高效的稀疏训练方法，通过引入连续性问题，将优化过程分为权重更新和结构参数更新两个步骤，前者可利用稀疏结构实现，后者通过方差减少策略梯度估计器而获得全面稀疏训练，维度之间的联系局限在两个步骤中，展示了远远超过之前方法的训练加速效果。

    Nov, 2021

  • 高维非参数回归和分类的稀疏输入神经网络

    该论文提出了使用稀疏组套索惩罚来适应神经网络以解决非参数高维问题，其中真实功能位于低维子空间中，并对统计收敛性进行了表征。

    Nov, 2017

  • 稀疏深度学习的统计保证

    发展用于稀疏深度学习的统计保证来进一步增加我们对神经网络潜力和局限性的理解，这一理论考虑了不同类型的稀疏性，如连通性，结点性等，并覆盖了先前理论忽略的重要方面，如多重输出和正则化。

    Dec, 2022

  • 深度神经网络中条件前馈计算的低秩近似

    本文研究深度神经网络中的可扩展性问题，提出了一种条件计算的方法，利用门控单元来确定节点何时进行计算，通过将权重矩阵分解成低秩逼近，能够有效地获得非线性激活前的正负号，在使用 ReLU 激活函数时，能够跳过一些节点的计算，加速稀疏神经网络的运行。实验结果显示，这种方法在 MNIST 和 SVHN 数据集上的性能稳健，对于条件计算过程引入的误差具有较好的鲁棒性。

    Dec, 2013

  • 稀疏矩阵分解

    该研究探讨如何将矩阵分解为多个稀疏矩阵，提出了一种在随机性和稀疏性假设下的算法，该算法能够恢复深度学习网络中各层之间边的结构、隐藏单元的值，矩阵分解、稀疏恢复、字典学习与深度学习之间具有密切关联。

    Nov, 2013