May, 2023

随机修正方程和 Dropout 算法的动力学

PDF
TL;DR本文研究了 dropout 过程中的梯度优化机制，使用模拟方法得出其随机修改方程，证明了 dropout 的正则化能力来自于其寻找更平稳的极小值点，实验结果表明这种机制在 dropout 的训练过程中普遍存在。
dropoutregularizationneural networksstochastic differential equationsminima
发现论文，激发创造
  • 残余网络的随机训练：微分方程视角

    本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。

    Dec, 2018

  • 关于结构化 Dropout 正则化特性的研究

    单层线性网络中，DropBlock 引入了谱 k-support 正则化，促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout，某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网络中，并用经常使用的网络结构实验验证了理论结论和假设。

    Oct, 2019

  • Dropout 的隐式和显式正则化效应

    本文研究了 dropout 正则化方法的两种作用：修改预期训练目标的明显作用和训练更新的随机性所导致的额外的隐含作用。通过对实验的控制和分析，提出了可以替换 dropout 的简化分析正则化器。

    Feb, 2020

  • Dropout 作为一种结构收缩先验

    研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。

    Oct, 2018

  • 变分贝叶斯的 dropout: 陷阱与修正

    将 Dropout 重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了 Quasi-KL（QKL）差异作为新的近似推理目标。

    Jul, 2018

  • Dropout 的归纳偏差分析

    该研究论文探讨了 dropout 作为一种正则化技术在线性分类问题中的应用。通过比较不同正则化技术的表现，研究人员得出一些结论并分析了 dropout 的优势所在。

    Dec, 2014

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • Dropout 是随机 delta 规则的特例：更快、更准的深度学习

    本研究比较了 Dropout 和 Stochastic Delta Rule 两种算法在神经网络的参数估计任务上的表现，结果发现 SDR 相对于 Dropout 具有更好的性能。

    Aug, 2018

  • 神经常微分方程中的随机性：实证研究

    本文对几个图像分类任务进行了随机正则化神经 ODE 的实证研究，探讨了数据增强对其性能的影响，展示了神经 SDE 相对于其确定性版本的优势，但进一步的研究表明，数据增强消除了随机正则化的影响，使得神经 ODE 和神经 SDE 的性能差异微不足道。

    Feb, 2020

  • 关于 Dropout 的隐式偏差

    本文主要研究 dropout 在深度学习中的应用，发现 dropout 会在单隐藏层线性神经网络中导致隐藏节点的输入 / 输出权重向量模长相等，同时提供了 dropout 所导致的优化景观的完整特征描述。

    Jun, 2018