NIPSOct, 2016

基于 “惊奇度” 的 Zoneout

PDF
TL;DR本文提出了一种新颖的递归神经网络正则化方法，称为 surprisal-driven zoneout，在该方法中，当 surprisal（上一状态的预测值与目标值之间的差异）较小时，状态会 zoneout（保持其先前的值而不更新），从而达到逐神经元基础上的自适应正则化。作者在 Hutter Prize 维基百科数据集上实现了 1.31 的 bits per character，显著缩小了到目前为止最好的高度工程化压缩方法之间的差距。
recurrent neural networksregularizationsuprisal-driven zoneoutadaptiveper-neuron basis
发现论文，激发创造
  • 通过随机保留隐藏层激活来规范化 RNNs 的 Zoneout 方法

    本文提出了一种名为 zoneout 的新型 RNN 正则化方法，其通过异步化一部分隐藏单元来提高模型的泛化能力，并在字符和词级语言建模的任务中获得了竞争性的结果。

    Jun, 2016

  • 递归网络中的惊讶驱动反馈

    介绍了基于新颖的 Surprisal 驱动递归网络，利用过去的误差信息进行预测，取得了在 enwik8 字符级别预测任务上 1.37BPC 的较好表现，优于其他随机和完全确定性方法。

    Aug, 2016

  • Noisin: 循环神经网络的无偏正则化

    本文提出了一种名为 Noisin 的新方法，通过注入随机噪声到 RNN 的隐藏状态对其进行正则化，有效避免过拟合，实验证明 Noisin 在语言建模任务上相较于 dropout 有 12.2% 的性能提升。

    May, 2018

  • 神经符号熵正则化

    本文介绍了一种统一 neuro-symbolic 和 entropy regularization 的框架，并提出了一种神经符号熵正则化损失函数，用于半监督和全监督结构化预测实验中的有效性测试。

    Jan, 2022

  • NoiseOut: 一种简单的神经网络剪枝方法

    本文提出了一种全自动剪枝算法 NoiseOut，该算法基于隐藏层神经元的激活相关性，并证明增加完全随机目标的输出神经元会导致神经元之间的更高相关性，从而使 NoiseOut 剪枝更加有效。通过在各种网络和数据集上进行实验，表明该方法具有高剪枝率，同时保持原始网络的精度。

    Nov, 2016

  • 状态规则化递归神经网络

    通过使用一种被称为状态规范化的机制来处理以前递归神经网络（RNNs）的不足，从而提高 RNNs 的状态转移动态分析和解释性，并将其应用于自动机抽取，自然语言处理和计算机视觉中。

    Jan, 2019

  • 循环神经网络的贝叶斯稀疏化

    本文通过采用稀疏变分 dropout 技术和二元变分 dropout 技术，对循环神经网络进行稀疏化处理，并在情感分析和语言建模任务中取得了较高的稀疏度和较低的信息损失。

    Jul, 2017

  • 关于在序列到序列模型中稀疏编码器输出的研究

    利用 L0DROP 层来实现精简 Transformer 中 Encoder 输出的机制，可以在不降低结果质量的情况下减少 40-70% 的输出，提高编码速度。

    Apr, 2020

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017

  • 嘈杂循环神经网络

    研究透过向隐含状态注入噪音训练的递归神经网络，已证实该方法可提升其稳定性及鲁棒性。

    Feb, 2021