block sparsity | BriefGPT - AI 论文速递

关键词block sparsity

搜索结果 - 4

基于块稀疏信号的多元化学习
提出了一种新颖的先验 Diversified Block Sparse Prior，用于描述现实世界数据中普遍存在的块稀疏现象。通过允许方差和相关矩阵的多样化，我们有效地解决了现有块稀疏学习方法对预定义块信息的敏感性问题，实现了自适应的块估
PDF5 months ago
任意线性变换下的自适应块稀疏正则化
我们提出了一种用于未知块结构下任意线性变换的块稀疏凸信号重建方法，它是现有方法 LOP-𝓁₂/𝓁₁的一种推广，能够在不可逆变换下重建具有块稀疏性的信号。我们提供了解决该方法的迭代算法，并给出了收敛到最优解的条件。数值实验验证了该方法的有
PDF5 months ago
大规模神经架构的反向传播压缩：结构化激活剪枝
通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小 GPU 内存需求，从而降低大规模模型训练的要求并解决生态环境问题。
PDF7 months ago
基块稀疏循环神经网络
研究使用 “修剪” 和 “组稀疏化正则化” 这两种方法来诱导 RNN 网络中的块稀疏性，形成 80% 到 90% 不等的稀疏度；该技术能够消除与数据存储和不规则内存访问相关的额外开销，同时提高硬件效率和降低参数总数。
PDF7 years ago