该研究介绍了一种简单的正则化技术,在循环神经网络 (RNNs) 与长短期记忆 (LSTM) 单元上应用 Dropout 可以减少不同任务中的过度拟合,包括语言建模、语音识别、图像字幕生成和机器翻译等。
Sep, 2014
本文提出一种新的循环神经网络正则化方法,通过在 extit {循环} 链接中直接删除神经元来实现,并且不会丢失长期记忆,实验证明,该方法即使与传统的前馈 dropout 相结合,也能在自然语言处理基准测试中取得一致的改进。
Mar, 2016
本文研究了快速 Dropout(一种用于常规线性模型和神经网络的正则化方法)的后向传递启发式视角,证明了它实现了自适应、参数之间的二次正则化项,对欠拟合情况下的大权重进行奖励,对过度自信预测进行惩罚,并在未正则化的训练损失极小值处消失。该正则化项的导数完全基于训练误差信号,因此没有全局权重吸引器,这可以改善 RNN 的性能。作者基于四个音乐数据集,证实了该假设。
Nov, 2013
该论文介绍了一种基于变分推断的 dropout 新技术,并探讨了如何将其应用到 LSTM 和 GRU 模型中,这种方法表现优于现有技术,并在语言模型中取得了最佳结果。
Dec, 2015
本文提出了一种名为同胞 dropout 的简单技术,利用 dropout 思想训练两个相同参数的 RNN,通过最小化这些 RNN 的(pre-softmax)预测之间的差异,从而使 RNN 的表示对于 dropout 掩码不变。在序列建模和图像字幕任务中达到了最先进的结果。
Oct, 2017
本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络,通过合适的正则化和端到端的训练方法,该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7%。
Mar, 2013
本文中介绍了一种简单的正则化方法 R-Drop,该方法强制不同子模型生成的输出分布相互一致,从而提高了深度学习模型的效果。通过在 5 个深度学习任务(包括神经机器翻译、摘要概括、语言理解、语言建模和图像分类)上的实验证明,R-Drop 是普遍有效的,并在 Vanilla Transformer 模型上实现了最先进的性能。
Jun, 2021
本文总结了 dropout 方法的历史、各种应用以及当前研究兴趣的领域,同时详细描述了一些重要的提出方法。
Apr, 2019
通过采用敌对概念生成的 dropout mask 来改进循环神经网络的性能,实现了对于时序 MNIST 任务、半监督文本分类任务和语言建模任务中 RNNs 的 dropout 技术的有效性提高。
本研究提出了一种名为 “课程退火” 的优化策略,通过逐渐在神经网络结构中添加噪声的方式,从而实施一种非常通用的课程方案,进而创造更好的模型。
Mar, 2017