variational dropout | BriefGPT

关键词variational dropout

搜索结果 - 4

AAAI后验引导的神经网络结构搜索
本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。
PDF5 years ago
依赖变分 Beta-Bernoulli Dropout 的自适应网络稀疏化
我们提出了一种自适应的变分 dropout 方法，在此方法中使每个神经元进化为通用或特定于某些输入，或完全被删除，以允许网络耐受更大程度的稀疏性，同时消除功能中冗余项，我们在多个公共数据集上验证了我们的依赖性变分 beta-Bernoull
PDF6 years ago
改进的贝叶斯压缩
本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。
PDF7 years ago
ICML变分 Dropout 稀疏深度神经网络
本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证
PDF7 years ago