May, 2023

深度神经网络训练的自适应梯度预测

PDF
TL;DR提出了一种名为 ADA-GP 的算法，通过使用梯度预测来加速深度神经网络（DNN）的训练，同时保持准确性，并且这种算法具有可适应的特性来平衡精度和性能，同时还提供了一种详细的硬件扩展来实现梯度预测加速潜力。通过对 14 种 DNN 模型的广泛实验表明，与基线模型相比，ADA-GP 可以实现 1.47 倍的平均加速，并且由于减少了与基线硬件加速器相比的外部内存访问，平均消耗的能量降低了 34％。
neural network traininggradient predictiondeep neural networkdnn acceleratorenergy efficiency
发现论文，激发创造
  • OneAdapt：通过反向传播实现深度学习应用的快速适应

    通过优化配置选项以提高深度学习推理的准确性和降低网络带宽和 GPU 资源的使用量，本文提出了一种名为 OneAdapt 的方法，通过利用深度神经网络的可微性来快速估计准确度梯度，从而达到三个要求：最小化额外的 GPU 或带宽开销，基于数据对最终深度神经网络的准确性的影响达到接近最优的决策，并在一系列配置选项范围内实现这些目标。与现有技术相比，OneAdapt 在减少带宽和 GPU 使用量方面可达 15-59%，同时准确度保持相当或提高 1-5% 且使用相同或更少的资源。

    Oct, 2023

  • PiPAD: 基于 GPU 的流水线和并行动态图神经网络训练

    提出了 PiPAD，一种基于管道和并行设计的动态图神经网络 (DGNNs) 训练框架，用于在 GPU 上进行端到端性能优化。在各种数据集上的评估表明，PiPAD 在三种代表性模型上实现了 1.22 倍 - 9.57 倍的超越最先进的 DGNN 框架的加速。

    Jan, 2023

  • 基于先验知识的 Alpha 发现神经网络

    本文提出了 Alpha Discovery Neural Network (ADNN) 用于自动构建多样化的金融技术指标。与已有的遗传编程方法不同，该方法采用预训练和模型修剪等方法构建特征，取得了比遗传编程更好的实验结果。

    Dec, 2019

  • 通过线性预测提高深度神经网络训练效率和性能

    提出了一种优化深度神经网络训练效果的方法，通过参数预测来改进模型性能，通过实验证实了该方法在不同的深度神经网络结构上提高了训练效率和性能。

    Oct, 2023

  • XGrad：利用权重预测增强基于梯度的优化器

    本文提出了一种基于权重预测的深度学习框架 XGrad，通过引入优化器更新规则的未来权重来更新深度神经网络（DNN）模型，有效提升了梯度下降优化器的收敛性和泛化性，并在实验中验证了其有效性。

    May, 2023

  • 利用小像素批量梯度下降算法优化物理设计流程中的预测性人工智能

    我们提出了迷你像素批梯度下降（MPGD）算法，用于优化预测模型在芯片物理设计流程中的收敛速度和效果。实验证明，MPGD 在使用 CNN 或基于图的模型进行各种物理设计预测任务时带来了显著的益处。

    Feb, 2024

  • 减少梯度逼近的对抗训练成本

    采用梯度逼近的对抗训练方法能够减少建立稳健模型的成本，而对于常见数据集如 MNIST、CIFAR-10 和 CIFAR-100，该方法在训练时间上节省了高达 60% 的时间，并且在模型测试准确性上没有明显损失。

    Sep, 2023

  • 加速神经网络训练：简要回顾

    研究通过应用 Gradient Accumulation、Automatic Mixed Precision 和 Pin Memory 等方法来加速深度神经网络的训练过程，并证明这些方法能够显著提高训练效率，为深度学习过程的改进提供重要见解。

    Dec, 2023

  • 基于预测 - 修正的对抗攻击

    本文研究了深度神经网络在存在敌对样例情况下的对抗攻击问题，并针对现有攻击方法使用的梯度求解方法提出了一种基于预测 - 修正的新型攻击方法，该方法具有较好的可扩展性和更高的攻击成功率。

    Jun, 2023

  • SGAD: 软引导自适应剪枝神经网络

    本文提出了一种基于适应性丢弃机制的神经网络模型压缩方法，通过引入包含样本信息的指导方针来提高模型性能，与 32 层残差神经网络相比，该方法在 CIFAR-10 数据集上减少了 77% 的 FLOPs 并保持了不到 1% 的精度损失。

    Jul, 2018