activation sparsity | BriefGPT

关键词activation sparsity

搜索结果 - 11

稀疏激活下的神经网络学习
许多成功的神经网络结构中的核心组件是一个具有非线性激活函数的两个全连接层的 MLP 块。我们在本文中对展示出激活稀疏性的 MLP 层的 PAC 可学习性进行了形式化研究，并呈现了多种实验结果，表明这类函数相对于非稀疏的对应物具有计算和统计上
PDF6 days ago
Turbo 稀疏：最小激活参数实现 LLM 的最新技术表现
利用激活稀疏性是大型语言模型（LLM）推理过程中显著加速的一种有希望的方法，但是激活稀疏性由激活函数决定，而常用的 SwiGLU 和 GeGLU 等函数显示出有限的稀疏性，仅用 ReLU 替换这些函数无法实现足够的稀疏性，此外，不充分的训练
PDF22 days ago
一种基于事件相机的在线眼动跟踪的轻量级时空网络
基于事件的数据在边缘计算环境中十分常见，我们提出了一种因果时空卷积网络，以实现与这些数据的接口和利用丰富的时态特征，并通过简单的架构和操作（卷积、ReLU 激活）及在线推断效率配置、通过规范化训练实现超过 90% 的激活稀疏度，从而在基于事
PDF3 months ago
CATS：大型语言模型中的上下文感知稀疏阈值
基于 Contextually Aware Thresholding for Sparsity (CATS) 的新框架用于稀疏化大型语言模型的激活并降低推理成本，在不需要微调的情况下，CATS-based 模型可以在 50% 的激活稀疏程度
PDF3 months ago
统一输入对计算机视觉中激活稀疏性和能耗延迟攻击的影响
机器学习中的资源效率对于当今十分重要，本文分析了敌对攻击如何通过减少激活稀疏度的方式来增加能耗和决策延迟，并提出了两种新的简单而有效的策略来生成海绵样本，通过实证评估表明这些策略能够在少量计算资源的情况下取得与之前方法相当的激活稀疏效果，并
PDF3 months ago
ProSparse: 大型语言模型中引入并增强内在激活稀疏性
本文介绍了一种名为 “ProSparse” 的有效稀疏化方法，通过将大型语言模型中的激活函数替换为 ReLU，并采用沿正弦曲线逐渐增加的因子的渐进稀疏正则化，实现了更高的激活稀疏性而不降低模型性能，从而提供了实际的推理加速。
PDF4 months ago
学会高效：在大型语言模型中构建结构化稀疏性
使用 Learn-To-be-Efficient 算法能够实现大型语言模型的效率提升，通过激活较少神经元来获得更好的稀疏性和性能平衡，取得了较好的结果。
PDF5 months ago
从 PEFT 到 DEFT：在 Transformer 中减少激活密度的参数高效微调
本研究提出了一种新的密度损失方法，促进预训练模型中更高的激活稀疏性，从而实现有效的模型自适应。实验证明，使用我们的方法 DEFT 在不降低下游任务性能的情况下，可以在 RoBERTa_Large 上减少激活密度达到 50.72％，在 Fla
PDF5 months ago
利用动态推理来开发 Transformer 激活稀疏性
通过激活稀疏性和动态决定每个令牌的执行专家数量的方法，Dynamic Sparsified Transformer Inference（DSTI）能够显著降低 Transformer 模型的推理成本，而且对准确性几乎没有影响。
PDF9 months ago
激活稀疏性的理论解释：通过平坦极小值和对抗性鲁棒性
基于梯度稀疏性和随机矩阵理论的激活稀疏性，该研究解释了深度模型中激活稀疏性的理论机制以及其在对抗鲁棒性和性能方面的重要性，并提出了几种用于训练和稀疏调整的模块和修改的方法。
PDF10 months ago
CVPRSparseViT：重新审视激活稀疏性，为高效高分辨率视觉变换器提供支持
本文提出了 SparseViT，通过窗口激活剪枝技术对最近的基于窗口的视觉变换器 (VITs) 进行活化稀疏化处理，通过稀疏感知的调整和进化搜索，实现不同层次适应不同的剪枝比率优化。SparseViT 在不降低准确性的前提下，分别在单眼 3
PDFa year ago