Jun, 2023

最优时间变量学习中的时间规则化

PDF
TL;DR本文在深度神经网络中引入最优时间变量学习，并通过引入与离散动态系统的时间跨度直接相关的正则化项，进一步拓展了该概念。此外，我们还提出了一种自适应修剪方法，适用于具有残差的神经网络 (ResNet)，在不影响表达能力的同时，降低网络复杂度和训练时间。通过将所提出的方法应用到 MNIST 和 Fashion MNIST 数据集上的分类任务中，结果得到证明。
time variable learningregularizationadaptive pruningresidual neural networksclassification
发现论文，激发创造
  • 正则化深层网络时时间很重要：权重衰减和数据增强影响早期学习动态，在收敛附近影响不大

    研究表明，对于深度神经网络的正则化应在其初期而非后期进行，且应当重视学习过程中的瞬态行为而非渐进行为。

    May, 2019

  • 马尔可夫决策过程中的时间规则化

    本篇论文介绍了一种基于时间规则化的强化学习方法，利用马尔可夫链概念正式描述技术引入的偏差。在简单的离散和连续 MDP 中说明时间规则化的各种特性，并表明该技术即使在高维 Atari 游戏中也提供了改进。

    Nov, 2018

  • 线性神经网络中离散梯度动态的隐式正则化

    本文研究了过参数化模型的离散梯度动态，并证明在使用适当超参数和初始化条件时，该动态可以学习降低秩的回归问题的解。

    Apr, 2019

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 学习梯度下降：更好的泛化和更长的视野

    本文提出了一种学习自我学习模型和一些实用技巧，以优化损失函数的训练问题，其优化器在许多任务上优于通用的优化算法和 DeepMind 的学习优化器，包括深度 MLP、CNN 和简单的 LSTM。

    Mar, 2017

  • 学习具有时间感知行为的循环神经网络动态

    本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。

    Jun, 2023

  • 策略优化中的正则化问题

    通过深度强化学习的控制任务，对传统正则化技术在多种优化算法中的应用及效果进行综合研究，发现传统的正则化技术能够改善学习效果，特别在较难的任务中，说明正则化有助于强化学习中的泛化表现。

    Oct, 2019

  • 循环神经网络正则化

    该研究介绍了一种简单的正则化技术，在循环神经网络 (RNNs) 与长短期记忆 (LSTM) 单元上应用 Dropout 可以减少不同任务中的过度拟合，包括语言建模、语音识别、图像字幕生成和机器翻译等。

    Sep, 2014

  • 循环神经网络优化的进展

    本文探讨了相关的优化问题，尝试使用梯度削减，跨越更长的时间范围，强化动量技术，使用更强大的输出概率模型，以及鼓励更稀疏的梯度来帮助对称性打破和学分分配等几个方面，以提高长序列的训练的可行性和效率。实验结果在文本和音乐数据的训练和测试误差中表现出了显著的进步。

    Dec, 2012

  • 快速 dropout 及其在循环网络中的应用

    本文研究了快速 Dropout（一种用于常规线性模型和神经网络的正则化方法）的后向传递启发式视角，证明了它实现了自适应、参数之间的二次正则化项，对欠拟合情况下的大权重进行奖励，对过度自信预测进行惩罚，并在未正则化的训练损失极小值处消失。该正则化项的导数完全基于训练误差信号，因此没有全局权重吸引器，这可以改善 RNN 的性能。作者基于四个音乐数据集，证实了该假设。

    Nov, 2013