Sep, 2023

改进小数据集上训练的 Resnet-9 泛化能力

PDF
TL;DR本文提出了在 ICLR 的竞赛中获得第一名的硬件感知高效训练方法，该方法针对在不到 10 分钟内在图像分类任务中实现尽可能高的准确性的挑战。通过在一个小数据集上进行训练，并应用一系列技术来改进 ResNet-9 的泛化性能，我们的实验表明，ResNet-9 可以在不到 10 分钟的时间内只使用 CIFAR-10 数据集的 10% 子集达到 88% 的准确率。
发现论文，激发创造
  • 大型小批量 SGD 扩展：改进准确性和减少训练时间的 ImageNet-1K 上残差网络训练

    本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

    Nov, 2017

  • 高效的 ResNets: 残差网络设计

    本研究设计和训练了一个大小不超过 500 万可训练参数的修改版 ResNet 模型用于 CIFAR-10 图像分类，通过一些训练策略和合适的超参数，最终测试准确率达到 96.04％。

    Jun, 2023

  • 又一种加速的 SGD: 在 ImageNet 上以 74.7 秒的速度训练 ResNet-50

    通过优化方法，我们使用 ABCI 集群上的 2048 个 GPU，在 74.7 秒内实现了高达 1.73 百万张图像 / 秒的训练吞吐量和 75.08％的 top-1 验证准确性，解决了分布式深度学习中大规模集群高伸缩性和高准确性的挑战。

    Mar, 2019

  • 基于混合精度的高可扩展深度学习训练系统：四分钟内训练 Imagenet

    提出了一个用于 GPU 集群的高度可扩展的深度学习训练系统，其中包括采用混合精度训练的方法、优化极大 mini-batch size 的方法、采用高度优化的全约约算法等，这些方法的使用将深度学习训练的吞吐量和精度取得了很好的平衡。

    Jul, 2018

  • 单个 GPU 上 3.29 秒达到 CIFAR-10 的 94% 准确率

    以 CIFAR-10 数据集为例，本研究通过引入训练方法，利用单个 NVIDIA A100 GPU 在 3.29 秒内达到 94% 的准确率，在 10.4 秒内达到 95%，在 46.3 秒内达到 96% 的准确率，其中水平翻转增强的非随机变体是加速训练速度的一个因素。

    Mar, 2024

  • 在 ImageNet 数据集上使用极大的 Minibatch SGD 训练 ResNet-50 模型只需 15 分钟

    使用大批量大小的训练技术，如 RMSprop 预热、批量归一化等方法，我们成功地在 15 分钟内使用 1024 个 Tesla P100 GPU 在 ImageNet 数据集上对 ResNet-50 进行了 90 轮训练，并在此过程中保持了准确性。

    Nov, 2017

  • 基于深度卷积神经网络的图像分类的一些改进

    通过给训练数据增加更多的图像变换、给测试时产生更多的预测和使用应用于更高分辨率图像的补充模型等多种技术，我们改进了目前基于深度卷积神经网络的图像分类流程，并在 Imagenet 大规模视觉识别挑战赛 2013 中获得了前五名，我们的系统分类错误率为 13.55％，相对于上一年的获胜者，出现了超过 20％的相对提高。

    Dec, 2013

  • 分钟级 ImageNet 训练

    采用大批量数据并行同步 SGD 的 LARS 算法，我们在 2048 个 KNL 上完成了 90 个周期 ResNet-50 的 ImageNet 训练，仅需 20 分钟，同时达到 74.9% 的测试精度。

    Sep, 2017

  • 超级计算机规模的图像分类

    本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。

    Nov, 2018

  • 我们可以通过难样本学得更好吗？

    本研究提出一种新型的深度学习算法，该算法利用高误差 mini-batch 学习聚焦于欠表示的样本和复杂模式，并在多个公认数据集上测试，表明其相对于传统 mini-batch 训练方法能够显著提高测试准确性和加速收敛。

    Apr, 2023