May, 2019

AutoAssist: 加速深度神经网络训练的框架

PDF
TL;DR本文提出 AutoAssist 框架，使用实例减少操作来加速训练深度神经网络，并通过设计一个轻量级的 Assistant 网络对 Boss 网络进行辅助来降低训练时间，实验结果表明，AutoAssist 在图像分类和翻译数据集上表现出色。
deep neural networksgradient computationtraining accelerationinstance shrinking operationassistant network
发现论文，激发创造
  • 加速神经网络训练：简要回顾

    研究通过应用 Gradient Accumulation、Automatic Mixed Precision 和 Pin Memory 等方法来加速深度神经网络的训练过程，并证明这些方法能够显著提高训练效率，为深度学习过程的改进提供重要见解。

    Dec, 2023

  • AUTOSPARSE: 深度神经网络稀疏训练自动化

    本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

    Apr, 2023

  • 神经自动机器学习的迁移学习

    使用迁移学习方法减少神经自动机器学习的计算成本，在语言和图像分类任务中，Transfer Neural AutoML 在单任务训练收敛时间上节省了超过一个数量级。

    Mar, 2018

  • 快速自动增强

    本文提出了一种名为 Fast AutoAugment 的算法，通过基于密度匹配的更高效的搜索策略找到有效的数据扩充策略，相比于 AutoAugment，该算法在各种模型和数据集上加速了搜索时间，并实现了可比较的图像识别性能。

    May, 2019

  • 深度学习训练过程增强

    本文介绍了几种新颖的深度学习训练技术，如广义模型无关课程学习方法和级联加和增强方法，它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性，而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。

    Nov, 2022

  • 多教师助理指导的密集知识蒸馏

    本文提出一种基于多个 teacher assistant 的密集引导知识蒸馏方法，通过逐渐减小模型大小有效地弥合 teacher 和 student 之间的巨大差距，实现了对 student 的更高效学习，并在 CIFAR-10、CIFAR-100 和 ImageNet 上的多个 backbone 架构中取得了显著的性能提升。

    Sep, 2020

  • 大规模深度学习模型的高效训练：文献综述

    对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。

    Apr, 2023

  • 教辅辅助下的知识蒸馏改进

    本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

    Feb, 2019

  • 使用反向传播学习增强策略的更快自动增强

    本文提出了一种可微分的策略搜索方法，用于数据增强，该方法比之前的方法更快，使用的是离散参数变换的近似梯度和可分辨操作选择机制。我们的方法通过最小化增强数据与原始数据之间的分布距离来优化，比之前的工作实现了显著更快的搜索，而不会出现性能下降。

    Nov, 2019

  • 使用 AutoML 实现加速器感知的神经网络设计

    采用硬件意识神经架构搜索，设计了一类适用于 Edge TPU 的计算机视觉模型，有效提升了实时图像分类性能并在像素 4 的边缘 TPU 上改善了精度 - 延迟权衡。

    Mar, 2020