该研究提出了一种名为maxout的新型神经网络结构,它可以利用所谓的dropout技术中的近似模型平均方法进行优化,并提高快速近似模型平均方法的准确性,同时在四个基准数据集(MNIST,CIFAR-10,CIFAR-100和SVHN)上展示了最先进的分类性能。
Feb, 2013
研究表明使用dropout训练神经网络对于使用流行的修正线性激活函数的网络的有效性有多种问题,探究了测试时权重缩放推断过程的质量,比较了几何平均数和算术平均数的性能,研究了非绑定权重的集合解释对集合的效果,最后,我们调查了基于最大似然集合梯度的带有偏估计器的替代准则。
Dec, 2013
本文探讨了网络结构、学习机制和参数收敛速率之间的关系,提出了一种基于一阶信息的通用顺序反向传播方法,并将去噪自动编码器和dropout方法应用到该方法中,通过界定深度网络的收敛速率来提供学习参数和网络大小选择方面的见解。
Jun, 2015
在深度学习中添加一种正则化项,即注入信息失真噪声,可以更好地强制执行最优表示的关键属性。信息dropout是对dropout的一种改进,可以更好地适应数据和网络结构,同时可以生成区分度良好的表示。
Nov, 2016
我们提出了一种新的名为Variational Bayesian Dropout (VBD)的泛化Gaussian Dropout方法,其利用分层先验来推断联合后验,以解决 Variational dropout 中的不恰当先验带来的不良影响,从而提高网络训练的规范能力和泛化性能,在分类和网络压缩任务中取得更优异的性能表现。
Nov, 2018
本研究提出了一种基于引导选择节点赋予权重的智能随机失活方法,在多个数据集上的实验评估证明了该方法在提高深度神经网络泛化能力方面的有效性。
Dec, 2018
使用有针对性的dropout进行神经网络的训练,可以使网络更容易剪枝并且保持稀疏性。
May, 2019
本文研究了dropout正则化方法的两种作用:修改预期训练目标的明显作用和训练更新的随机性所导致的额外的隐含作用。通过对实验的控制和分析,提出了可以替换dropout的简化分析正则化器。
Feb, 2020
本文提出了上下文辍学模块,采用有效的结构设计作为一个简单和可伸缩的样本依赖性辍学模块,可应用于各种模型中,展示了该方法的可伸缩性在大规模数据集上的实验结果显示,该方法在准确性和不确定性估计质量方面优于基线方法。
Mar, 2021
本文研究了贝叶斯方法中的一种蒙特卡罗dropout,提供了在评估神经网络的认知不确定性方面的原则性工具,继而提出了dropout注入的方法,它是嵌入式dropout的实用替代方案,文中着重研究了回归问题的实验结果,同时指出了其有效使用的指南。
Feb, 2023