Jun, 2024

稀疏激活下的神经网络学习

PDF
TL;DR许多成功的神经网络结构中的核心组件是一个具有非线性激活函数的两个全连接层的 MLP 块。我们在本文中对展示出激活稀疏性的 MLP 层的 PAC 可学习性进行了形式化研究，并呈现了多种实验结果，表明这类函数相对于非稀疏的对应物具有计算和统计上的优势。我们希望对 “激活稀疏” 的网络有更好的理论认识，以便能够在实践中利用激活稀疏性。
neural network architecturesmlp blockactivation sparsitypac learnabilitycomputational and statistical advantages
发现论文，激发创造
  • 大型模型是简明学习者：训练转换器中的激活稀疏性

    通过实验证明机器学习模型的机制使得 transformer 架构的激活图稀疏化，进而提出一种可以显著降低计算量并提高效率的方式。

    Oct, 2022

  • 激活稀疏性的理论解释：通过平坦极小值和对抗性鲁棒性

    基于梯度稀疏性和随机矩阵理论的激活稀疏性，该研究解释了深度模型中激活稀疏性的理论机制以及其在对抗鲁棒性和性能方面的重要性，并提出了几种用于训练和稀疏调整的模块和修改的方法。

    Sep, 2023

  • 活动稀疏性与权重稀疏性相辅相成，用于高效的 RNN 推理

    通过对参数进行稀疏化，结合稀疏激活在递归神经网络中的相乘作用，实现了对神经网络计算成本高效率的优化，可以应用于神经形态计算设备上，同时不牺牲任务性能。

    Nov, 2023

  • 稀疏诱导激活的深度神经网络初始化

    通过剪枝层来诱导和利用稀疏激活是提高深度网络计算效率的一种有前途的方法，本论文使用大尺度高斯过程极限分析了随机初始化时诱导隐藏层稀疏性的非线性激活函数，证明了一种先前未报告的培训不稳定性，并表明通过剪枝激活函数的幅度，可以克服这种不稳定性，理论验证和数值实验表明，这种剪枝激活函数能够在训练和测试时保持接近完全准确度的同时达到高达 85％的稀疏度。

    Feb, 2024

  • 小型语言模型中实现稀疏激活

    我们在小型语言模型（SLMs）中实现了稀疏激活，并通过新的归因测量指标以达到精确的稀疏激活，实验证明我们的方法可以在只损失 < 5% 的模型准确性的情况下实现 80% 的稀疏化比率，可与大型语言模型（LLMs）中实现的稀疏激活相媲美。

    Jun, 2024

  • 监督学习中的稀疏活动和稀疏连接

    本文提出了一个利用稀疏性来增强分类能力的模型，在该模型中，利用稀疏活动和稀疏连接来实现分类，实现这一目标的工具是一种稀疏度投影算子，该算子可以找到给定向量的最接近预定义的稀疏向量。在理论部分中开发了一种全面的理论来进行这种投影，并证明该投影在几乎所有地方均可微分，因此可以作为平滑的神经元转移函数实现。在 MNIST 数据库的实验中，分类性能可以通过稀疏活动或稀疏连接提高，并且两者的组合将显著优于经典的非稀疏方法。

    Mar, 2016

  • ProSparse: 大型语言模型中引入并增强内在激活稀疏性

    本文介绍了一种名为 “ProSparse” 的有效稀疏化方法，通过将大型语言模型中的激活函数替换为 ReLU，并采用沿正弦曲线逐渐增加的因子的渐进稀疏正则化，实现了更高的激活稀疏性而不降低模型性能，从而提供了实际的推理加速。

    Feb, 2024

  • 深度神经网络的稀疏感知泛化理论

    本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。

    Jul, 2023

  • 稀疏神经网络学习激活函数

    本研究提出了一种新的方法，即 Sparse Activation Function Search（SAFS），结合了调整稀疏网络激活函数和独立的超参数优化（HPO）来提高稀疏神经网络的预测准确率。通过在多个数据集和深度神经网络模型上进行实验，结果显示，与默认的训练协议相比，特别是在高剪枝率下，在 LeNet-5、VGG-16 和 ResNet-18 中的准确率分别提高了 15.53％、8.88％和 6.33％。

    May, 2023

  • 可训练激活函数的稀疏神经网络贝叶斯优化

    本文提出了一种可训练的激活函数，使用贝叶斯建模自动估计学习数据中的模型权重和激活函数参数，并使用基于 MCMC 的优化方案进行推断，通过使用有效的采样方案来提高收敛速度并减少过度拟合问题，取得了良好的检验结果，并通过激活函数提高了模型的准确性。

    Apr, 2023