Mar, 2019

如何使用高度稀疏的表现形式获益？

PDF
TL;DR本文发现，尽管目前大多数人工神经网络都采用密集表示，然而生物神经网络却采用稀疏表示。我们研究发现，只要稀疏表示的维度足够高，那么这种表示在噪声和干扰方面会更加稳健。同时，我们还提出了一个关键的洞察力，即围绕稀疏向量的可操作体积与表示空间体积之比随着维数呈指数下降。我们提出了一种包含稀疏权重和激活的计算效率高的稀疏网络，并在 MNIST 和 Google 语音命令数据集上进行了模拟，结果表明，与密集网络相比，这种网络在保持竞争性准确性的同时，表现出了更强的稳健性和稳定性。本文讨论了这种稀疏性在准确性、噪声稳健性、超参数调整、学习速度、计算效率和功耗要求等方面的潜在优势。
sparse representationsrobustnessdimensionalitycomputational efficiencyaccuracy
发现论文，激发创造
  • 大规模的真正稀疏神经网络

    本文介绍了一种针对稀疏神经网络的并行训练算法、非可训练参数激活函数、隐藏神经元重要性指标等三个新型贡献，该方法能够最大程度地利用稀疏神经网络的潜力。实验结果表明，这种方法具有最前沿的性能，同时为实现环保型人工智能奠定了基础。

    Feb, 2021

  • 深度学习中生物学的角色

    本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新验证了这些发现，并将该方法扩展到更具挑战的连续学习任务上，并公开了代码。

    Sep, 2022

  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023

  • 稀疏神经网络训练

    本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

    Nov, 2016

  • 通过稀疏词表示压缩神经语言模型

    本文提出使用稀疏单词表示来压缩神经语言模型的参数量，以减少计算资源需求并提高性能表现。

    Oct, 2016

  • 稀疏表示在强化学习控制中的应用

    本文研究确定在增强学习中控制的稀疏表示。通过对比标准神经网络表示和具有稀疏性质的神经网络表示，在经典控制域中递增地学习控制策略的表现，证明了稀疏表示更加有效，因为其提供了局部性，避免了灾难性的干扰，特别是保持了稳定的值来引导学习。同时，称之为 “分布式正则化器” 的方法可以鼓励隐藏节点的激活匹配分布，从而产生稀疏的激活状态。该方法提出了一种简单而有效的方式来获取稀疏表示。

    Nov, 2018

  • 深度学习中的稀疏性：剪枝和生长用于神经网络的高效推理和训练

    本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

    Jan, 2021

  • 稀疏深度神经网络的改进对抗鲁棒性

    本文研究了基于深度神经网络的分类模型中稀疏性与鲁棒性之间的关系，并理论和实证分析表明，适当的模型稀疏化可以提高非线性 DNN 的鲁棒性，但过度稀疏化会使模型更难抵抗对抗性样本攻击。

    Oct, 2018

  • 具有大学习差异性的稀疏神经网络

    本文介绍了具有三个级别稀疏性的编码循环神经网络，该网络基于二进制神经元和二进制连接，能够学习和召回大量的信息，可以作为分类器和关联记忆使用。

    Feb, 2011

  • 利用稀疏表示来对抗对抗攻击

    本篇论文研究了针对深度神经网络的对抗攻击问题，表明对于稀疏输入数据表示，我们可以利用线性分类器的稀疏编码来有效减缓攻击，并将其扩展到深度神经网络中，发现使用局部线性模型可以有效降低 MNIST 数据集上的攻击成功率。

    Mar, 2018