AAAIApr, 2019

适用于循环神经网络的对抗性 dropout

PDF
TL;DR通过采用敌对概念生成的 dropout mask 来改进循环神经网络的性能，实现了对于时序 MNIST 任务、半监督文本分类任务和语言建模任务中 RNNs 的 dropout 技术的有效性提高。
recurrent neural networksdropout techniquesadversarial conceptguided dropoutregularizer
发现论文，激发创造
  • 监督学习和半监督学习中的对抗性随机失活

    该研究探讨使用对抗性失活的方法改进神经网络的泛化性能，发现对抗失活增加了神经网络的稀疏度，从而改进了 MNIST 和 CIFAR-10 数据集上的监督和半监督学习任务的泛化性能。

    Jul, 2017

  • 快速 dropout 及其在循环网络中的应用

    本文研究了快速 Dropout（一种用于常规线性模型和神经网络的正则化方法）的后向传递启发式视角，证明了它实现了自适应、参数之间的二次正则化项，对欠拟合情况下的大权重进行奖励，对过度自信预测进行惩罚，并在未正则化的训练损失极小值处消失。该正则化项的导数完全基于训练误差信号，因此没有全局权重吸引器，这可以改善 RNN 的性能。作者基于四个音乐数据集，证实了该假设。

    Nov, 2013

  • 亲兄弟中辍

    本文提出了一种名为同胞 dropout 的简单技术，利用 dropout 思想训练两个相同参数的 RNN，通过最小化这些 RNN 的（pre-softmax）预测之间的差异，从而使 RNN 的表示对于 dropout 掩码不变。在序列建模和图像字幕任务中达到了最先进的结果。

    Oct, 2017

  • 循环神经网络中基于理论的 Dropout 应用

    该论文介绍了一种基于变分推断的 dropout 新技术，并探讨了如何将其应用到 LSTM 和 GRU 模型中，这种方法表现优于现有技术，并在语言模型中取得了最佳结果。

    Dec, 2015

  • 防御性随机失活用于加固对抗攻击下的深度神经网络

    采用防御性抛弃策略来提高神经网络模型的抵御对抗攻击能力，优化测试抛弃率，并通过攻击方与防御方的博弈过程来确定最优策略。相较于随机激活剪枝等其他防御方法，防御性抛弃在 MNIST 数据集上的攻击成功率可以由 100％降至 13.89％。

    Sep, 2018

  • Dropout 改进手写体识别的循环神经网络

    使用 dropout 技术可以极大地提高长短期记忆递归神经网络在无约束手写识别中的性能表现。

    Nov, 2013

  • 对抗性 Dropout 正则化

    提出了一种利用 Adversarial Dropout Regularization 的方法来实现神经表示从有标签的源域到无标签目标域的转移，以提高语义分割和图像分类任务的准确性，并证明了该方法的有效性。

    Nov, 2017

  • 无记忆丢失的循环失活

    本文提出一种新的循环神经网络正则化方法，通过在 extit {循环} 链接中直接删除神经元来实现，并且不会丢失长期记忆，实验证明，该方法即使与传统的前馈 dropout 相结合，也能在自然语言处理基准测试中取得一致的改进。

    Mar, 2016

  • 带有 Dropout 调度的单步对抗训练

    该研究论文主要讨论了深度学习模型在计算机视觉等领域中的应用，以及由于鲁棒性不足而面临的对抗攻击问题，提出了单步对抗性训练方法及其存在的问题，并针对该问题提出了多步鲁棒性训练方法，并通过实验证明该方法得到的模型具有较强的鲁棒性。

    Apr, 2020

  • R-Drop: 神经网络的正则化丢弃

    本文中介绍了一种简单的正则化方法 R-Drop，该方法强制不同子模型生成的输出分布相互一致，从而提高了深度学习模型的效果。通过在 5 个深度学习任务（包括神经机器翻译、摘要概括、语言理解、语言建模和图像分类）上的实验证明，R-Drop 是普遍有效的，并在 Vanilla Transformer 模型上实现了最先进的性能。

    Jun, 2021