Nov, 2022

EfficientTrain: 探索通用课程学习，以培训视觉主干

PDF
TL;DR本文提出一种新的课程学习方法，以高效训练视觉骨干（例如视觉变换器）。该方法利用深度网络的内在学习动态，实现在训练早期仅学习每个样例中更容易学习的部分，逐渐增加难度。通过在输入的 Fourier 频谱中引入裁剪操作，本方法可以更高效地学习低频信息，并通过减弱数据增强以暴露原始图像特征，设计了一种课程学习计划。结果表明，此方法简单、通用、有效，可以在不损失准确性的情况下，在 ImageNet-1K/22K 上将多种流行模型（例如 ResNet、ConvNeXt、DeiT、PVT、Swin 和 CSWin）的训练时间缩短 > 1.5 倍。
curriculum learningvisual backbonestraining efficiencylower-frequency componentsdata augmentation
发现论文，激发创造
  • EfficientTrain++：高效视觉主干训练的广义课程学习

    通过使用更简单的数据对形成更难样式的模型进行培训，我们将课程学习的思想进行了一般化。我们通过引入傅立叶光谱的裁剪操作和数据增强的强度调制，设计出一种简单而高效的培训方法 EfficientTrain++，它减少了各种流行模型在 ImageNet-1K/22K 上的培训时间而不会降低准确性。

    May, 2024

  • 深度网络训练中课程学习的威力

    本研究分析了课程学习对深度神经网络训练的影响，使用转移学习和自举法解决难度排序问题，以及不同的步伐函数指导采样，并最终证明其有效地修改了优化模型的全局最小解。

    Apr, 2019

  • CurriculumNet: 大规模网络图像弱监督学习

    该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

    Aug, 2018

  • 基于转移学习的课程学习：深度网络的理论和实验

    本文针对在随机梯度下降优化凸线性回归损失时的课程学习进行了理论研究，并探讨了在训练卷积神经网络时如何通过迁移学习推断课程学习。实验证明，理论与实践表现相似，课程学习能够有效地提升模型的泛化性能，并对异常情况拥有鲁棒性。

    Feb, 2018

  • 视觉 Transformer 的自动渐进式学习，用于高效训练

    该论文提出一种自适应的进阶学习自动化方案 (AutoProg)，通过在训练过程中自适应决定模型的生长量、生长位置以及生长方式等策略，从而使得模型的训练能够快速加速，且不会出现性能下降。通过 DeiT 和 VOLO 等模型在 ImageNet 上的大量实验表明，AutoProg 能够将模型的训练加速高达 85.1%。

    Mar, 2022

  • 通过新颖数据增强和课程学习提高对比学习效率

    EfficientCL 是一种内存高效的持续预训练方法，通过对比学习和新颖的数据增强和课程学习来实现。在 GLUE 基准测试上，与基准模型相比，该模型的表现更好，尤其是在句子级任务上，并且只需要与基准模型相比仅有 70% 的计算内存。

    Sep, 2021

  • 计算效率高的计算机视觉深度学习：综述

    过去十年来，深度学习模型在各种视觉感知任务中取得了显著进展，但其高计算资源需求限制了其在实际应用中的可行性。本综述通过四个关键领域的研究，即轻量级骨干模型的发展、面向特定计算机视觉任务的专用网络架构或算法、深度学习模型压缩技术以及在硬件平台上部署高效深度网络的策略，对计算效率高的深度学习进行了广泛分析，并讨论了该领域面临的关键挑战和未来研究方向。

    Aug, 2023

  • 时间、内存和参数高效的视觉适应

    我们提出了一个不需要反向传播梯度的适应方法，该方法在参数、训练时间和内存使用方面都非常高效，并且在 VTAB 基准测试中实现了极好的准确性 - 参数折衷，并展示了在视频分类等计算密集型任务中对于训练效率和可扩展性上的优越性。

    Feb, 2024

  • 训练高效的卷积神经网络：优化神经网络的基本组成部分，创造更轻、更快、更强韧的模型

    本研究旨在回顾各种最先进技术，探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络，并成功实现了在 MNIST 数据集上仅使用 1500 个参数达到 99.2% 的高准确度，并在 CIFAR-10 数据集上仅使用超过 140K 个参数达到了 86.01% 的高准确度。

    May, 2022

  • LeRaC：学习率课程

    本文提出了一种名为 Learning Rate Curriculum（LeRaC）的课程学习方法，使用不同的学习率来创建数据 - free 课程，在课程学习的初始训练时期，将更高的学习率分配给靠近输入的神经层，逐渐降低学习率。 为了实验验证，本文使用了从计算机视觉（CIFAR-10，CIFAR-100，Tiny ImageNet），语言（BoolQ，QNLI，RTE）和音频（ESC-50，CREMA-D）领域中的 8 个数据集，考虑了各种卷积（ResNet-18，Wide-ResNet-50，DenseNet-121），循环（LSTM） ）和变压器（CvT，BERT，SepTr）架构，将该方法与常规的训练策略和 Curriculum by Smoothing（CBS）方法进行了比较。

    May, 2022