Oct, 2019

聚焦最大的失误者加快深度学习

PDF
TL;DR介绍了 Selective-Backprop 技术，该技术可以通过在每次迭代中优先处理损失较大的示例来加速深度神经网络训练，通过在多个现代图像模型上的评估表明，相比标准 SGD 和最先进的重要性采样方法，Selective-Backprop 可以以快至多达 3.5 倍的速度收敛到目标误差率。
发现论文，激发创造
  • 选择性反向传播中梯度匹配的负面结果

    通过选择最优匹配整个微批量平均梯度的（加权）子集，同时使用梯度作为廉价的代理，研究表明，无论是基于损失还是梯度匹配策略，都不能始终超越随机选择基准线，以加快深度神经网络训练过程中的计算速度。

    Dec, 2023

  • 卷积神经网络的最小化误差反向传播

    该研究提出了一种有效的计算方法，通过对全梯度的精简计算以及对梯度进行稀疏选择，来提高卷积神经网络中反向传播的计算效率，实验结果表明只有 5% 的梯度需要上传就可以达到原始 CNN 的效果甚至更好。

    Sep, 2017

  • 深度学习的训练简化与模型简化：一种最小化反向传播方法

    该研究提出了一种基于梯度稀疏化和模型简化的技术来降低神经网络的训练和推断计算开销，并且在不降低模型准确率的情况下，实现了对模型的自适应简化，具有很高的应用价值。

    Nov, 2017

  • 一种提高神经网络准确性的新方法：恢复传统反向传播技术

    本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

    Aug, 2023

  • 深度神经网络的选择性分类

    本文提出了一种构造选择分类器的方法，可在风险可控的情况下使用深度神经网络进行分类，解决了在深度神经网络中使用拒绝选项技术的问题，有效提高了分类器性能，成功实现了在 ImageNet 上顶部 5 项分类的 2% 错误率，并且测试覆盖率达到近 60%，为深度神经网络在关键应用中的应用提供了可能性。

    May, 2017

  • 随机反向传播：一种训练视频模型的内存高效策略

    在视频数据的神经网络训练中，提出了一种名为随机反向传播（SBP）的记忆效率高的方法，可以显著降低 GPU 内存的占用，并可用于各种视频任务的模型训练，包括动作识别和时间动作检测，而且几乎不影响准确率。

    Mar, 2022

  • meProp: 稀疏化反向传播，加速深度学习，降低过拟合

    通过保留权重矩阵的前 k 个元素并实现前向传播和反向传播来减少计算成本，该方法可以提高神经网络的学习效率并改善其准确性。

    Jun, 2017

  • 深度神经网络选择性分类基准测试

    通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。

    Jan, 2024

  • DropBP：通过放弃反向传播来加速大语言模型的微调

    通过 Dropping Backward Propagation（DropBP）方法，在保持准确性的同时减少计算成本，提高深度神经网络的训练效率。

    Feb, 2024

  • 快速传播是更好的：通过抽取子网络加速单步对抗训练

    在这项工作中，我们提出了一种利用模型的内部构建块来提高效率的方法，通过在训练过程中动态地采样轻量级子网络作为替代模型，加速前向和后向传递以实现高效的对抗训练，并通过理论分析证明了单步对抗训练和采样子网络可以提高模型的鲁棒性。相比之前的方法，我们的方法不仅减少了训练成本，而且实现了更好的模型鲁棒性。

    Oct, 2023