Mar, 2016

监督学习中的稀疏活动和稀疏连接

PDF
TL;DR本文提出了一个利用稀疏性来增强分类能力的模型，在该模型中，利用稀疏活动和稀疏连接来实现分类，实现这一目标的工具是一种稀疏度投影算子，该算子可以找到给定向量的最接近预定义的稀疏向量。在理论部分中开发了一种全面的理论来进行这种投影，并证明该投影在几乎所有地方均可微分，因此可以作为平滑的神经元转移函数实现。在 MNIST 数据库的实验中，分类性能可以通过稀疏活动或稀疏连接提高，并且两者的组合将显著优于经典的非稀疏方法。
发现论文，激发创造
  • 活动稀疏性与权重稀疏性相辅相成，用于高效的 RNN 推理

    通过对参数进行稀疏化，结合稀疏激活在递归神经网络中的相乘作用，实现了对神经网络计算成本高效率的优化，可以应用于神经形态计算设备上，同时不牺牲任务性能。

    Nov, 2023

  • 神经形态语言模型中的权重稀疏性与活动稀疏性相辅相成

    通过研究神经网络的活动稀疏性和参数稀疏性，探讨了在序列建模中将两者相结合的权重剪枝的效果，结果表明稀疏连接的基于事件的神经网络是有效和高效的序列建模模型。

    May, 2024

  • 稀疏激活下的神经网络学习

    许多成功的神经网络结构中的核心组件是一个具有非线性激活函数的两个全连接层的 MLP 块。我们在本文中对展示出激活稀疏性的 MLP 层的 PAC 可学习性进行了形式化研究，并呈现了多种实验结果，表明这类函数相对于非稀疏的对应物具有计算和统计上的优势。我们希望对 “激活稀疏” 的网络有更好的理论认识，以便能够在实践中利用激活稀疏性。

    Jun, 2024

  • 通过自适应稀疏连接提高深度学习的泛化能力

    本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

    Jun, 2019

  • 使用稀疏连接证明神经网络训练方法

    我们提供了一种针对稀疏连接的前馈神经网络进行训练的保证方法，在学习线性网络的先前技术的基础上，我们展示了它们也可以有效地用于学习非线性网络，并在涉及输入标签和得分函数的时候操作矩阵，证明它们在温和条件下可以产生深层网络第一层的权重矩阵，实践中，我们的方法的输出可以用作梯度下降的有效初始值。

    Dec, 2014

  • 神经网络的自动稀疏连通性学习

    本文提出了一种名为 Sparse Connectivity Learning 的新型自动裁剪方法，通过使用二进制掩码描述网络连接，同时使用 Identity STE 进行离散掩码松弛。在目标函数中加入网络总连接数的正则化项，无需定义裁剪标准或超参数即可探索网络以实现最佳性能。实验结果表明，使用 SCL 训练的深度学习模型在稀疏度、准确性和 FLOPs 减少方面优于其他自动剪枝方法。

    Jan, 2022

  • 始终稀疏训练：引导随机探索下的连接增长

    现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

    Jan, 2024

  • 具有大学习差异性的稀疏神经网络

    本文介绍了具有三个级别稀疏性的编码循环神经网络，该网络基于二进制神经元和二进制连接，能够学习和召回大量的信息，可以作为分类器和关联记忆使用。

    Feb, 2011

  • 神经语言模型自然出现稀疏性

    本研究探讨稀疏神经模型在自然语言处理中的重要性，使用出租车欧几里得范数对稀疏度进行量化，发现输入频繁的词在激活方面较为集中，而目标词汇的激活由分散变得集中，并且功能词梯度比内容词梯度更集中。

    Jul, 2019

  • 无监督预训练鼓励适度稀疏

    本文解释了预训练神经网络成功的原因，通过实验观察到预训练可以在神经网络中引入隐藏单元活性的稀疏性，从而得到更好的预测性能。

    Dec, 2013