Nov, 2023

测试 RadiX-Nets：可行稀疏拓扑结构的进展

PDF
TL;DR数据的指数增长引发了对机器学习研究和工业使用的计算需求。深度神经网络的稀疏化可以创建对复杂数据进行简化的表示。本文提出了一个用于 TensorFlow 的 RadiX-Nets 测试套件，通过测试 RadiX-Net 性能来简化可扩展模型的处理，揭示网络拓扑、初始化和训练行为之间的关系。我们还遇到了训练不一致且准确度较低的 “奇怪模型”，而相似稀疏度的模型则训练良好。
datasparsitydeep neural networksradix-netstensorflow
发现论文，激发创造
  • RadiX-Net: 深度神经网络的结构稀疏矩阵

    本研究提出一种算法，可以确定生成 RadiX-Nets，这些稀疏的深度神经网络拓扑结构相比 X-Net 拓扑结构更加多样化，同时保留了 X-Nets 所需的特性，基于长期观察到的稀疏神经网络可以达到与稠密对应物相同的表达能力的功能分析猜想。

    Apr, 2019

  • 深度扩展网络：利用图理论构建高效深层网络

    本文提出了一种图形连接的 CNN 结构，其中使用扩展器图以提高连接效率和层间信息传递，与现有的 ResNets 和 DenseNet 及其变体相比可以在精度和效率方面达到更好的平衡。

    Nov, 2017

  • 深度神经网络中稀疏性的状态

    本文评估了三种在深度神经网络中引入稀疏性的技术，并对两个大规模的学习任务进行了严格评估，结果表明，简单的幅度剪枝方法可以获得相当或更好的性能，而不能从头开始训练稀疏结构，并强调了建立大规模基准测试的必要性。

    Feb, 2019

  • 通过自适应稀疏连接提高深度学习的泛化能力

    本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

    Jun, 2019

  • NestedNet: 在深度神经网络中学习嵌套稀疏结构

    本文提出了一种新的深度学习框架，称为嵌套稀疏网络，它利用神经网络中的 n-in-1 类型嵌套结构，实现资源感知的多功能体系结构，可以满足不同的资源要求，并利用层次分类实现了多任务学习。此外，我们还提出了有效的权重连接学习和通道和层次调度策略，评估了我们的网络在多种任务中的性能。结果表明，嵌套稀疏网络相比现有方法具有更高的效率和竞争力。

    Dec, 2017

  • Top-KAST: Top-K Always Sparse 训练

    本文提出了一种名为 Top-KAST 的方法，在训练时保持网络的稀疏性，避免了传统方法在训练时必须实例化 dense 参数或梯度的缺点，实验结果表明，该方法在 ImageNet 基准测试中表现出色，在语言建模领域也有广阔的应用前景。此外，该方法实现简单，易于在现有的机器学习框架中实现，为探索海量模型的潜力提供了可能。

    Jun, 2021

  • 深度学习中的稀疏性：剪枝和生长用于神经网络的高效推理和训练

    本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

    Jan, 2021

  • 始终稀疏训练：引导随机探索下的连接增长

    现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

    Jan, 2024

  • 稀疏神经网络训练

    本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

    Nov, 2016

  • 大规模的真正稀疏神经网络

    本文介绍了一种针对稀疏神经网络的并行训练算法、非可训练参数激活函数、隐藏神经元重要性指标等三个新型贡献，该方法能够最大程度地利用稀疏神经网络的潜力。实验结果表明，这种方法具有最前沿的性能，同时为实现环保型人工智能奠定了基础。

    Feb, 2021