BriefGPT.xyz
大模型
Ask
alpha
关键词
weight sparsity
搜索结果 - 5
稀疏 Iso-FLOP 变换以最大化训练效率
通过引入一种基于单一超参数的稀疏 Iso-FLOP 变换族，本文试图使用稀疏性提高密集模型的准确性和 FLOP 效率，实现不更改任何训练超参数而在计算机视觉和自然语言处理任务中获得显著的提高，例如 ResNet-18 在 ImageNet
→
PDF
a year ago
深度学习中生物学的角色
本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新
→
PDF
2 years ago
ICCV
VACL: 基于方差感知的跨层正则化方法用于剪枝深度残差网络
该论文提出了一种名为 Variance-Aware Cross-Layer (VACL) 的新方法，通过交叉层分组和方差感知正则化的方式，可以有效地提高残差模型的结构稀疏性，实验结果表明该方法在模型大小和准确性方面明显优于其他现有方法。
PDF
5 years ago
神经网络权重的可压缩性丧失
本文介绍一种压缩性损失的方法，使神经网络学习高度压缩的神经网络权重，采用这种方法可以使信号的非零部分具有极低的熵，从而整个信号更容易被压缩，我们证明了目标函数的临界点可以使权重向量成为三元信号，其取决于稀疏度，我们实验了这种方法，结果发现它
→
PDF
5 years ago
通过诱导 ReLU 稳定性进行更快的对抗鲁棒性验证训练
本篇论文研究神经网络验证中的协同设计概念，并通过改进权重稀疏性和 ReLU 稳定性的方法，将计算困难的验证问题转化为可处理的问题，并改善了验证的速度，该方法具有普适性。
PDF
6 years ago
Prev
Next