ICMLJun, 2024

更稀疏，更好，更深，更强：通过精确正交初始化改进稀疏训练

PDF
TL;DR提出了一种基于随机 Givens 旋转组合的精确正交初始化方案（Exact Orthogonal Initialization，EOI），该方法能够在静态稀疏训练中实现高效稀疏的 1000 层 MLP 和 CNN 网络的训练，突出了在静态稀疏训练中权重初始化和稀疏掩码选择的关键作用。
static sparse trainingsparse modelssparse initializationexact orthogonal initializationweight initialization
发现论文，激发创造
  • 使用任何掩码更好地训练您的稀疏神经网络

    本研究提出了一种新的稀疏训练技术，使用 “幽灵” 神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络

    Jun, 2022

  • 训练 DNNs 中的可控正交化

    本文提出了一种使用牛顿迭代法的正交化方法 (ONI)，它可以通过进行迭代来控制权重矩阵的正交性，同时保持模型的表征能力，从而有效地提高图像分类网络和生成对抗网络 (GANs) 的性能。

    Apr, 2020

  • 优化眼科医生：通过稀疏生成器在初始化期间找到图像先验

    介绍了一种用于修剪和训练深度图像生成网络的最佳眼科医生 (Optimal Eye Surgeon, OES) 框架，使用自适应修剪网络的方法，实现低频图像组件和去噪图像的生成。

    Jun, 2024

  • 利用正交性训练低秩神经网络

    该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性的 Orthogonality-Informed Adaptive Low-Rank (OIALR) 训练。OIALR 可以无缝地集成到现有的训练工作流中，且准确度损失最小，通过在各种数据集和经典网络架构上进行基准测试也得以证明。通过适当的超参数调整，OIALR 可以超越传统的训练设置，包括最先进的模型。

    Jan, 2024

  • 动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络

    本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他稀疏训练算法相比，Dynamic Sparse Training 在多个网络架构上取得了业界领先水平。此外，我们还发现了传统三阶段剪枝算法的潜在问题，为更紧凑的神经网络架构设计提供了理论指导。

    May, 2020

  • 深度神经网络中使用正交初始化解决梯度不稳定性的生物合理性探究

    本文提出了两种初始化方案，允许网络自然演化其权重形成正交矩阵，并提供理论分析，预先训练正交化始终收敛，并通过实验证实，所提出的方案优于随机初始化的递归和前向网络。

    Oct, 2022

  • 优化深度线性网络中正交初始化的可证明优势

    本文研究在深度神经网络的梯度优化中最具影响力的超参数选择之一 —— 初始参数值的选择，分析了不同初始化方案的具体影响，证明了从正交组中绘制初始权重相对于具有独立同分布权重的标准高斯初始化会加速收敛，并且展示了如何通过基于动态等谱性的初始化原理初始化非线性网络以获得最佳效果。

    Jan, 2020

  • 大规模的真正稀疏神经网络

    本文介绍了一种针对稀疏神经网络的并行训练算法、非可训练参数激活函数、隐藏神经元重要性指标等三个新型贡献，该方法能够最大程度地利用稀疏神经网络的潜力。实验结果表明，这种方法具有最前沿的性能，同时为实现环保型人工智能奠定了基础。

    Feb, 2021

  • 深度网络中的最大稀疏性？

    论文研究了稀疏估计算法、神经网络层和深度网络学习在估计准确性方面的应用，展示了深度网络学习可以在稀疏字典具有连贯列时恢复最小 L0 范数表示的潜力，并应用于三维场景表面法线的实际测量问题中。

    May, 2016

  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023