weight distribution | BriefGPT

关键词weight distribution

搜索结果 - 6

图卷积网络的一次性多速率剪枝
我们提出了一种轻量级图卷积网络设计，称为 Multi-Rate Magnitude Pruning (MRMP)，它通过联合训练网络拓扑和权重来对网络进行训练。该方法是变分的，通过将学习网络的权重分布与先验分布对齐，实现了任何固定的剪枝率的
PDF6 months ago
AAAIKalman 贝叶斯神经网络用于封闭形式的在线学习
本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI
PDF3 years ago
计算极化码权重分布的确定性算法
该文研究极化码的重量分布问题，提出了一种基于解码路径的递归计算极化码重量分布的算法，并探讨了极化码的混合因子和自同构群等性质，从而实现在合理时间内计算长度为 128 的极化码的重量分布。
PDF3 years ago
ICLR神经网络训练的早期阶段
本文研究神经网络学习的早期阶段，分析了神经网络在此期间的变化，发现深度网络在使用随机权重重初始化时不具有稳健性，但利用模糊输入或辅助自监督任务进行预训练即可近似监督网络的变化。
PDF4 years ago
ICLR最小化随机代码学习：从压缩模型参数中获取二进制位
本文提出了一种通过使用全变分权重分布进行深度神经网络压缩的方法，能够实现更高的压缩率和更高的测试性能，并在 LeNet-5/MNIST 和 VGG-16/CIFAR-10 基准测试中创造出新的最优结果。
PDF6 years ago
ICML修正线性单层感知器中权重分布的不变性
通过分析等价核，我们探讨了具有旋转不变性的权重分布和 ReLU 或 LeakyReLU 激活函数的多层感知机等价核，并使用中心极限定理表明了具有 0 平均值和有限绝对第三矩的权重分布相对于球形高斯权重层的核是渐近通用的。同时，深度网络的等效
PDF7 years ago