ICMLFeb, 2018

基于转移学习的课程学习：深度网络的理论和实验

PDF
TL;DR本文针对在随机梯度下降优化凸线性回归损失时的课程学习进行了理论研究，并探讨了在训练卷积神经网络时如何通过迁移学习推断课程学习。实验证明，理论与实践表现相似，课程学习能够有效地提升模型的泛化性能，并对异常情况拥有鲁棒性。
curriculum learningstochastic gradient descentconvex linear regression losstransfer learninggeneralization performance
发现论文，激发创造
  • 深度网络训练中课程学习的威力

    本研究分析了课程学习对深度神经网络训练的影响，使用转移学习和自举法解决难度排序问题，以及不同的步伐函数指导采样，并最终证明其有效地修改了优化模型的全局最小解。

    Apr, 2019

  • 课程学习理论与凸损失函数

    通过对困难得分和收敛速率的理论分析，研究了以适度难度曲线为基础的课程学习在凸问题中的作用并阐述它与硬数据挖掘的矛盾之处。

    Dec, 2018

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 关于使用混合输入进行奇偶目标的课程学习可证明的优势

    采用课程学习策略和稀疏样本可改善神经网络学习效率，对于一个混合了稀疏和密集输入的数据分布，采用应用在稀疏样本中的 curriculum noisy-GD/SGB 算法训练的 2 层 ReLU 神经网络可在有限的步数内学习到足够大次数的奇偶类型问题，而对于任何通过 noisy-GD/SGB 算法训练的神经网络，无论宽度或深度的大小，都需要额外的步骤才能学习，这可以通过理论和实验得出的结论加以支持。

    Jun, 2023

  • EfficientTrain: 探索通用课程学习，以培训视觉主干

    本文提出一种新的课程学习方法，以高效训练视觉骨干（例如视觉变换器）。该方法利用深度网络的内在学习动态，实现在训练早期仅学习每个样例中更容易学习的部分，逐渐增加难度。通过在输入的 Fourier 频谱中引入裁剪操作，本方法可以更高效地学习低频信息，并通过减弱数据增强以暴露原始图像特征，设计了一种课程学习计划。结果表明，此方法简单、通用、有效，可以在不损失准确性的情况下，在 ImageNet-1K/22K 上将多种流行模型（例如 ResNet、ConvNeXt、DeiT、PVT、Swin 和 CSWin）的训练时间缩短 > 1.5 倍。

    Nov, 2022

  • 神经网络的自动课程学习

    本篇论文提出了一种新的方法，通过评估学习进程来自动化选择神经网络学习课程，从而最大化学习效率。通过提供来自学习进展指标的信号以激励非静态多臂赌博机算法来的确定随机教学计划。对于 3 个课程上的 LSTM 网络的实验结果表明，我们的方法可以显著加快学习速度，在某些情况下，将实现令人满意的性能水平所需的时间减半。

    Apr, 2017

  • 神经网络上的随机梯度下降学习越来越复杂的函数

    实验研究表明，Stochastic Gradient Descent 利用条件互信息学习了从线性分类器到逐渐复杂的函数的分类器，解释了超参数化区域中 SGD 学习的分类器为什么往往具有良好的泛化能力。

    May, 2019

  • 深度网络中的动力学和泛化理论 III

    本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。

    Mar, 2019

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 课程学习：综述

    该文介绍了如何通过课程学习来训练机器学习模型，从而提高性能和准确率，并且探讨了如何排序和引入更难的数据，同时提供了未来工作的一些方向。

    Jan, 2021