sparsification | BriefGPT - AI 论文速递

关键词sparsification

搜索结果 - 56

循环神经网络中的几何稀疏化
稀疏化技术在大规模神经模型运行中减少计算成本的常用方法之一。本文提出了一种新的循环神经网络（RNNs）稀疏化技术，称为模量规则化，结合幅值修剪。通过使我们的规则化术语明确成几何形式，我们首次对我们的神经网络的期望稀疏架构进行了先验描述。验证
PDF22 days ago
去中心化学习中的安全聚合与稀疏化相遇
分布式学习面临隐私泄露的问题，本论文引入了一种新的安全聚合协议 CESAR，通过与现有的稀疏化机制相兼容，提高了通信效率，同时对抗恶意和好奇的对手。实验证明 CESAR 在并行随机梯度下降中保持很高的准确性，而仅增加 11% 的数据开销，并
PDF2 months ago
任意 $p$ 范数的分离权重衰减
通过桥接 $L_p$ 正则化的权重衰减方案，提出了一个简单而有效的稀疏化方法，以应对大规模神经网络的计算和存储要求，并避免了 $0<p<1$ 的正则化梯度发散问题，实验证明其导致高度稀疏的网络，同时保持与标准 $L_2$ 正则化相当的泛化性
PDF3 months ago
深度强化学习的最优策略稀疏化和低秩分解
使用 $L_0$- 范数正则化技术稀疏化深度强化学习策略，通过低秩分解提供压缩效果，以减少计算资源消耗和限制过拟合。
PDF4 months ago
FAST: 可因子化注意力提升 Transformer 速度
通过引入可分解的关注机制，我们将注意力机制的计算和内存复杂度从 O (N^2) 降低到 O (N)，并保持了注意力矩阵的完整表示，具有稀疏性和全连接关系。经过各种标准设置的测试，结果表明我们的注意力机制具有稳定的性能，并在自我注意力被使用的
PDF5 months ago
ICLRSliceGPT：通过删除行和列来压缩大型语言模型
SliceGPT 是一种新的后训练稀疏化方法，可以将模型的参数减少 25％，同时保持密集模型的 99％，99％和 90％的性能，并减少内存和计算需求。
PDF5 months ago
始终稀疏训练：引导随机探索下的连接增长
现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。
PDF6 months ago
稀疏化和量化的高效异步联邦学习
基于时间效率的异步稀疏量化联邦学习（TEASQ-Fed）能够利用边缘设备异步参与训练过程，并通过控制参数选择适当数量的并行边缘设备，进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性，同时利用稀疏化和量化的方法压缩中间数据以加速训练
PDF6 months ago
基于稀疏神经动力学的模型控制
使用深度神经网络从观测中学习预测模型是解决现实世界规划和控制问题的一种有前景的新方法。本文提出了一个新的集成模型学习和预测控制框架，通过逐渐稀疏化神经网络以有效优化算法进行端到端的优化，从而在保证预测准确性的基础上取得更好的闭环控制性能。
PDF6 months ago
RKHS 中最优滤波的另一种观点
利用根据时间结构定义的相干信息、扩展的协方差函数以及时间基函数，为在 Reproducing Kernel Hilbert Space 中创建更高效的函数表示提供了一个有希望的研究方向。
PDF6 months ago
具备稀疏约束的端到端网络剪枝流程
神经网络稀疏化通过减少模型大小、计算复杂度和内存占用的同时保持竞争性能，成为在资源受限设备上部署的有效技术。本研究开发了适应神经网络稀疏化的全程训练流程，利用非标准模型参数初始化、预修剪训练方法和后修剪训练优化等技术，实现了显著提升于当前最
PDF7 months ago
MAST：模型无关稀疏化训练
引入了一种新的优化问题形式，与传统的最小化机器学习模型损失的黑盒函数的方式不同。通过明确地纳入最初预训练模型和随机草图运算符，允许在训练过程中对模型和梯度进行稀疏化。本研究提出的目标函数具有深刻的性质，并强调其与标准算法的联系。同时，还介绍
PDF7 months ago
压缩感知的无线联邦学习：是否需要稀疏化？
通过比较不同通信设计的效果，研究发现，在相同总功率约束下，压缩感知方法配合稀疏化并不必要，而仅进行稀疏化而不使用线性压缩能够更好地提高性能。
PDF9 months ago
Feather: 一种高效 DNN 稀疏化的优雅解决方案
利用强大的直通估计作为核心，结合新的阈值运算符和梯度缩放技术，Feather 是一种有效的稀疏训练模块，能够在标准训练过程中实现健壮的稀疏化性能，通过在 CIFAR 数据集上使用各种体系结构进行演示，而在 ImageNet 上，它使用 Re
PDF9 months ago
VENOM：一种向量化的 N:M 格式，释放稀疏张量核心的能量
逐渐成功和扩大规模的深度学习模型对计算效率和功耗提出了更高的要求。稀疏化能够导致模型更小、计算效率更高，并且加速硬件已经得到应用。本文提出了一种新的格式 V:N:M，用于在 NVIDIA 的 Sparse Tensor Cores 上执行任
PDF9 months ago
SPION: 基于卷积漫延的 Transformer 分层稀疏训练
我们提出了一种新颖的 Transformer 稀疏化方案，通过整合卷积滤波器和泛洪填充方法，高效捕捉自注意操作中的逐层稀疏模式，从而在 Transformer 的训练过程中降低计算复杂度和内存占用，实现了超过现有稀疏 Transformer
PDF9 months ago
KDD可解释性脑图稀疏化：图神经网络的更佳实践和有效设计
本文介绍了一种新的框架，使用图神经网络 (GNNs) 中的有效设计来稀疏化脑图，以优化脑图分类任务。该新模型称作 “可解释的图稀疏化”（IGS），通过减少脑图的边数（最多 55.0%），提高了最多 5.1% 的分类性能，并提出了新的脑科学解
PDFa year ago
Sinkhorn 算法重要性稀疏化
本文提出了一种新的重要性稀疏化方法，称为 Spar-Sink，用于高效地近似熵正则化的最优输运和不平衡最优输运解决方案。实验证明，Spar-Sink 在估计误差和速度方面优于主流竞争对手，并可以有效地估计和可视化心脏周期。
PDFa year ago
去中心化学习系统中以较少为更多
本文介绍了 JWINS，一种通信高效且完全分散的学习系统，通过稀疏化仅共享少量参数，使用小波变换和随机通信切断降低信息损失并减少传输字节数，可在非 I ID 数据集上训练出接近于全共享的 DL 准确率，且可节省多达 64% 的字节数，在低通
PDFa year ago
大型预训练模型中基本稀疏性的出现：重要的权重
本文 comprehensively 研究了 multiple pre-trained vision and language transformers 的 induced sparse patterns，进一步导出了 essential
PDFa year ago