large-batch training | BriefGPT

关键词large-batch training

搜索结果 - 7

CVPR朝向高效和可扩展的锐度感知最小化
提出了一种名为 LookSAM 的新算法，可以显著减少 Sharpness-Aware Minimization (SAM) 训练的额外成本，并在大批次训练场景下成功扩展批次大小以训练 Vision Transformers (ViTs)
PDF2 years ago
ICML大批量训练自动学习率调度器
本文提出了一种有效的 LR 调试算法，其中包括自适应的预热和预定义的衰减，通过高斯过程平滑的在线检查方法可以有效地训练具有大批次大小的神经网络。
PDF3 years ago
ICLR大批次训练的并发对抗学习
本研究提出使用对抗学习 (adversarial learning) 技术来增加大批量训练 (large-batch training) 的批量大小，以克服随着批量大小的增加而降低的数据增强表现的问题，并通过 Concurrent Adve
PDF3 years ago
ICMLAdaScale SGD：分布式训练的用户友好型算法
AdaScale SGD 是一种可靠地适应大批量训练学习率的算法，通过不断调整梯度方差，可以实现在宽范围的批量大小下加速训练。在机器翻译，图像分类，目标检测和语音识别任务中，它可以处理大批量训练，而不会降低模型质量，因为 AdaScale
PDF4 years ago
LSTM 和更多模型的大批量训练
本文提出了一种新的线性逐渐预热的方法（LEGW），此方法可以在大批量 CNN 和 RNN 训练中实现 sqrt scaling scheme，同时不会丢失精度，并实现比之前的自动调整技术更好的表现，提高了四个基于 LSTM 的应用程序的平均
PDF5 years ago
NIPS实用差分隐私的三种工具
在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查
PDF6 years ago
训练更长时间，泛化更好：在神经网络的大批量训练中缩小泛化差距
该论文研究了大批量训练中的一般化差距现象，并提出一种名为 “Ghost Batch Normalization” 的新算法，可显著减少一般化差距而不增加权重更新数量。
PDF7 years ago