StochasticNet:通过随机连接形成深度神经网络
本文介绍一种基于突触随机性的神经网络模型 —— 突触采样机,它利用突触随机性进行 Monte Carlo 抽样和无监督学习。该模型具有很好的稀疏性和鲁棒性,同样适用于离散时间和连续时间的人工神经元模型。其中的局部突触可塑性规则实现了一种事件驱动的对比度下降学习,可用于在线生成模型。相较于现有的基于脉冲的无监督学习方法,突触采样机具有更好的表现,并有望应用于基于脉冲的大脑仿真硬件中进行在线学习。
Nov, 2015
本文提出了一种新的中间随机模型,称为简化 SFNN,该模型可以建立在任何基线 DNN 之上,并通过简化其上部随机单元来近似某些 SFNN。我们将 DNN-> Simplified-SFNN-> SFNN 三个模型联系在一起,从而自然地引导随机模型的高效训练过程,利用 DNN 的预训练参数。使用多个流行的 DNN,我们展示了如何将它们有效地转移到相应的随机模型,以进行 MNIST,TFD,CASIA,CIFAR-10,CIFAR-100 和 SVHN 数据集的多模态和分类任务。
Apr, 2017
该研究提出了一种名为随机深度的训练方法,通过随机地去掉一部分神经网络层,降低训练时间,提高测试准确率,特别是对于残差网络这样深层数学习模型的训练和测试效果都得到了大幅提升。
Mar, 2016
本文提出了一种用于神经网络的随机化方法,即随机配置网络,其采用随机分配输入权重和偏差节点的方法,以监督机制为基础,通过分析地计算输出权重,建立了三种回归问题的版本。研究结果显示,该方法具有较少人为干预的优点,可自适应随机参数设定,学习速度快,泛化能力强。
Feb, 2017
研究了使用 M 个隐藏层激活的样本进行训练时的随机网络,探讨了三种潜在好处,即允许学习一对多类型的映射,可用于内部结构重要的结构预测问题以及在一般情况下启用更好的概括性能。同时提出了两种新的梯度估计器来训练随机网络,实验证明这两种估计器在训练算法中表现优异。
Jun, 2014
这篇论文展示了最近将统计模型与深度循环神经网络相结合提供了一种描述波动度(时间序列的变化程度)模型的新方法,其中包含了一对互补随机循环神经网络,应用在金融领域的时间序列分析和预测。在实现的过程中,作者着重处理了基于随机循环神经网络的波动度动态变化。实际基于股票价格数据的实验证明,这个模型的波动度预测比其他流行模型例如确定性模型 (GARCH)、基于 MCMC 的模型 (stochvol) 和高斯波动过程模型 (GPVol) 有更高的可靠性。
Nov, 2017
本文介绍了一种基于 Monte Carlo dropout、DropConnect 和一种新的非参数 dropout 的随机神经网络集成方法,通过变分推断将随机集合形式化为分布族,并训练以近似贝叶斯后验,我们在玩具问题和 CIFAR 图像分类上进行评估,结果表明随机集成相对于贝叶斯推断的其他流行基线提供了更准确的后验估计。
Dec, 2022
本研究提出了 ReStoCNet,一种由二进制卷积核组成的残差随机多层卷积 SNN,以减少 SNN 的突触内存占用并提高其在复杂模式识别任务中的计算效率,同时引入残差连接来提高深度 SNN 的层次特征学习能力。
Feb, 2019