sparse neural networks | BriefGPT

关键词sparse neural networks

搜索结果 - 20

稀疏最大更新参数化：一种稀疏训练动态的整体方法
通过重新参数化超参数，SμPar 可以在不同的稀疏度级别和模型宽度变化时实现相同的最优超参数值，以解决稀疏神经网络的挑战，并在大规模语言建模中实现高达 8.2％的损失改进。
PDFa month ago
稀疏神经网络架构搜索的基准随机搜索
稀疏神经网络通过更高的参数效率展现出与密集网络类似甚至更好的泛化性能，但由于缺乏标准基线方法，可靠的比较和可重现性受到限制。本研究提供了一种评估方法和一种基于随机搜索的朴素基线方法，用于寻找良好的稀疏配置，并发现随机搜索在初始化稀疏子网络中
PDF4 months ago
视觉提示提升神经网络稀疏化：数据模型视角
本研究从数据 - 模型协同设计的角度，提出了一种新颖的数据 - 模型协同设计方法，通过学习重要的模型拓扑和充足的输入数据，促进优秀权重稀疏性。实验结果表明，使用该方法可以显著提高模型剪枝效果，并且从预训练模型中发现的子网络在不同的场景下具有
PDF7 months ago
稀疏神经网络中的线性模式连接
通过使用合成数据进行神经网络剪枝，我们发现在使用迭代幅度剪枝（IMP）时，与真实数据 IMP 所找到的次网络相比，与真实数据中的 SGD 噪声更稳定的新型稀疏网络类。通过线性插值、损失面可视化和测量海森矩阵的对角线进行研究，我们发现这些性质
PDF8 months ago
ICCV超稀疏神经网络：通过自适应正则化将探索转化为利用
提出了一种新颖且强大的稀疏学习方法：自适应正则化训练（ART）。通过逐步增加权重正则化，我们将稠密网络压缩为稀疏网络，并通过最高权重的方式压缩预训练模型的知识。在极高稀疏度情景下，我们的方法在 CIFAR 和 TinyImageNet 上比
PDFa year ago
稀疏神经网络学习激活函数
本研究提出了一种新的方法，即 Sparse Activation Function Search（SAFS），结合了调整稀疏网络激活函数和独立的超参数优化（HPO）来提高稀疏神经网络的预测准确率。通过在多个数据集和深度神经网络模型上进行实验
PDFa year ago
使用 BinMask 实现有效的 $L_0$ 神经网络正则化
本文提出了一种名为 BinMask 的简单 $L_0$ 正则化方法，该方法采用确定性二进制掩码相乘的权重并使用恒等误差反向传播估计器，在特征选择、网络稀疏化和模型正则化等任务上均取得了竞争性的性能表现。
PDFa year ago
ICML深度强化学习稀疏训练的现状
在深度强化学习领域，这项工作系统地研究了应用多种现有的稀疏训练技术在各种强化学习代理和环境中的可行性，结果发现，稀疏网络比密集网络在相同数量参数下表现更好，我们提供了有关如何改善稀疏训练方法有效性以及推进其在深度强化学习中应用的有益思路。
PDF2 years ago
神经网络的自动稀疏连通性学习
本文提出了一种名为 Sparse Connectivity Learning 的新型自动裁剪方法，通过使用二进制掩码描述网络连接，同时使用 Identity STE 进行离散掩码松弛。在目标函数中加入网络总连接数的正则化项，无需定义裁剪标准
PDF2 years ago
Powerpropagation：一种稀疏引导的权重重新参数化
本文介绍了 Powerpropagation 方法，它是一种针对神经网络权重参数化的方法，使用梯度下降时可使权重更新呈现 “富者越富” 的动态，从而产生稀疏模型，在模型性能相似的情况下，分布在零点处的密度提高，使得更多参数可被安全地剪枝，并
PDF3 years ago
Top-KAST: Top-K Always Sparse 训练
本文提出了一种名为 Top-KAST 的方法，在训练时保持网络的稀疏性，避免了传统方法在训练时必须实例化 dense 参数或梯度的缺点，实验结果表明，该方法在 ImageNet 基准测试中表现出色，在语言建模领域也有广阔的应用前景。此外，该
PDF3 years ago
基于 Bregman 学习框架的稀疏神经网络
提出一种基于随机 Bregman 迭代的学习框架，用于训练稀疏神经网络，采用逆比例空间方法。该方法具有很高的效率和易实现性，且在 ResNet-18 的参数中仅用了 3.4%，达到 90.2% 的 CIFAR-10 测试准确率。同时，利用该
PDF3 years ago
自私稀疏循环神经网络训练
本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext
PDF3 years ago
PHEW：无需训练数据便可学习快速、泛化良好的稀疏网络构建
本文基于神经切比雪夫内核（NTK）的分解，提出了一种基于路径加权的概率网络形成方法，可在不需要训练数据的情况下构建稀疏神经网络，并取得更好的泛化性能。
PDF4 years ago
AAAI稀疏神经网络中的梯度流与中奖彩票方法
本文研究稀疏神经网络的训练，并分析了从随机初始化开始训练稀疏神经网络的不良表现以及 Lottery Tickets 和 Dynamic Sparse Training 的例外情况。作者发现稀疏神经网络在初始化时梯度流较差，使用稀疏感知的初始
PDF4 years ago
ICLR动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络
本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他
PDF4 years ago
篡改彩票：使所有彩票获奖
本论文提出了一种方法来训练稀疏神经网络，使其在训练过程中保持固定参数数量和固定的计算成本，同时不损失相对于现有密集到稀疏训练方法的准确性，该方法通过使用参数大小和不频繁的梯度计算来更新稀疏网络的拓扑结构。在多种网络和数据集上，我们展示了稀疏
PDF5 years ago
ICLR使用可微缩不变稀疏度量学习稀疏神经网络的 DeepHoyer
本论文提出了一组可微且尺度不变的模型压缩正则化项 DeepHoyer，通过实验表明在相同的精度水平下，使用 DeepHoyer 压缩神经网络可以得到更加稀疏的模型，可以运用于元素级和结构级剪枝。
PDF5 years ago
稀疏神经网络训练的难点
本文研究了训练稀疏神经网络的困难，并对稀疏区间内的优化动态和能量景观进行了新的观察。研究发现，尽管优化器的失败，但存在一条线性路径从初始化到 “好” 的解，并从 “稀疏” 到 “稠密” 的子空间中寻找这条路径，可以帮助稀疏神经网络避开常见的
PDF5 years ago
ICLR深度神经网络中条件前馈计算的低秩近似
本文研究深度神经网络中的可扩展性问题，提出了一种条件计算的方法，利用门控单元来确定节点何时进行计算，通过将权重矩阵分解成低秩逼近，能够有效地获得非线性激活前的正负号，在使用 ReLU 激活函数时，能够跳过一些节点的计算，加速稀疏神经网络的运
PDF11 years ago