sparse connectivity | BriefGPT

关键词sparse connectivity

搜索结果 - 7

稀疏模型汤：通过模型平均实现剪枝改进的配方
本文介绍了一种稀疏神经网络模型的组合方法，称为稀疏模型汤。该方法使用迭代剪枝技术，通过在众多超参数配置中重新训练模型以获得相同的稀疏性，从而使得多个稀疏模型之间的参数能够平均并且相容，从而增强了这些模型的泛化能力。
PDFa year ago
面向极大输出空间的记忆高效训练 —— 在单一通用 GPU 上使用 50 万标签进行学习
在大规模输出空间分类问题中，通过使用中间大小的倒数第二层和限制稀疏层的连通性为均匀，可有效降低 GPU 硬件上的内存需求，并缓解由稀疏层连通性引起的模型预测力度下降问题。
PDFa year ago
ICCVMicroNet：极低 FLOPs 下提升图像识别
本论文提出了两种新的方法 —— 微型分解卷积和动态移位最大化激活函数，并将其应用在一种新型网络 MicroNet 中，使得在低计算复杂度条件下，ImageNet 分类任务 top-1 精度能够比 MobileNetV3 高出 9.6 个百分
PDF3 years ago
ICLR局部注意力与动态深度可分离卷积之间的联系
本文探讨了 Local Vision Transformer 的前身 ——Vision Transformer 和其一种局部注意力机制 —— 局部连接的形式，并从 network regularization 角度分析了其权重的稀疏性、共享
PDF3 years ago
ICLR通过稀疏多项式优化估计神经网络的 Lipschitz 常数
LiPopt 是一种基于多项式优化的框架，用于计算神经网络李普希茨常数的逐渐收紧的上界，并利用网络的稀疏连接来显著降低计算复杂度，尤其适用于卷积和修剪神经网络。实验表明，相对于文献中的基准，该方法在随机权重网络和 MNIST 数据集上具有更
PDF4 years ago
ICML通过自适应稀疏连接提高深度学习的泛化能力
本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。
PDF5 years ago
ICLR使用稀疏连接证明神经网络训练方法
我们提供了一种针对稀疏连接的前馈神经网络进行训练的保证方法，在学习线性网络的先前技术的基础上，我们展示了它们也可以有效地用于学习非线性网络，并在涉及输入标签和得分函数的时候操作矩阵，证明它们在温和条件下可以产生深层网络第一层的权重矩阵，实践
PDF10 years ago