Jun, 2023

利用方差迁移和学习速率自适应增量式生长神经网络加速训练

PDF
TL;DR通过考虑参数化和优化策略对训练动态的影响，我们开发了一种高效增长神经网络的方法，该方法动态稳定权重、激活和梯度缩放，提出一种学习率适应机制来解决不平衡训练问题，并取得了与训练大型固定模型相当或更好的准确性和训练速度加快。
neural networksparameterizationoptimizationtraining dynamicslearning rate adaption
发现论文，激发创造
  • 通过方差调整增强对抗攻击的可转移性

    在攻击模型的黑盒情况下，特别是在有防御机制的情况下，传统的对抗攻击往往会表现出弱的可迁移性。本文提出了一种新的名为方差调整的方法来改善梯度攻击的可迁移性，并在标准 ImageNet 数据集上证明了该方法的有效性，成功率平均提高了 85.1％。

    Mar, 2021

  • MixtureGrowth: 通过组合学习参数实现神经网络的增长

    深度神经网络使用 MixtureGrowth 方法实现网络扩展和训练，提高了准确率，并减少了计算次数。

    Nov, 2023

  • GradMax：使用梯度信息生长神经网络

    本文介绍了一种名为 GradMax 的技术，可以在训练期间添加新的神经元而不影响已经学到的东西，同时提高训练动态，并通过奇异值分解（SVD）高效地找到最佳初始化，从而实现了网络架构优化的目的。

    Jan, 2022

  • 通过自适应策略加速 Vision Transformer 的训练：导航扩展法则

    最近几年，深度学习领域的最新发展主要由大规模模型主导，这些模型在大量数据上进行了预训练。本文在视觉任务和 Vision Transformers 家族中，通过引导缩放规律，设计出了计算优化的自适应模型，并证明其胜过静态模型。

    Nov, 2023

  • 可靠的方差网络训练和估计

    本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。

    Jun, 2019

  • 学习如何扩展预训练模型以进行高效 Transformer 训练

    通过对预训练的 transformer 的参数学习，使用线性变换因子初始化更大的模型，实现更快的 transformer 训练，并且减少了高达 50% 的计算成本。

    Mar, 2023

  • 深度网络的分层自适应学习率

    本文提出了一种优化方法以训练深度神经网络，该方法使用适应性学习率，以增加函数曲率低点的学习率。这可以加快网络浅层的学习，快速退出高误差低曲率鞍点，提高标准算法的准确性并减少所需的训练时间。

    Oct, 2015

  • 使用尺度不变架构强化神经网络训练

    本文提出了通过修改网络结构，使其缩放不变，并使用 SGD 和权重衰减进行训练的通用方法，并证明了此方法不仅可以实现稳健的训练，还可以节省内存。作者还设计了一种名为 SIBERT 的缩放不变的 BERT 版本，其性能可与使用 Adam 等自适应方法训练的 BERT 相媲美。

    Feb, 2022

  • 自适应学习率的方差及更多

    文中探讨学习率预热方法在稳定训练、加速收敛和改善通用性方面的可靠性，发现自适应学习率在初始阶段有问题，建议使用预热作为方差缩减技术，并提出了一种新变量 RAdam 用于改善自适应学习率方差，实验结果表明其有效性和鲁棒性。

    Aug, 2019

  • 大规模深度网络的变分学习有效性

    我们通过大量的证据反驳了普遍观点，即变分学习对于大型神经网络无效。我们展示了一种名为改进变分在线牛顿（IVON）的优化器，在训练 GPT-2 和 ResNets 等大型网络时，始终能够与 Adam 相匹配或胜过它。IVON 的计算成本与 Adam 几乎相同，但其预测的不确定性更好。我们展示了 IVON 的几个新用例，其中我们改善了大型语言模型的微调和模型合并，准确预测了泛化误差，并忠实地估计了对数据的敏感性。我们发现了支持变分学习有效性的压倒性证据。

    Feb, 2024