mini-batch size | BriefGPT - AI 论文速递

关键词mini-batch size

搜索结果 - 8

稀疏和密集神经网络小批量大小的相变
本研究在教师 - 学生模型下，以不同复杂度的任务为研究对象，探究了小批量训练方式对两层神经网络学习的影响。结果发现，小批量大小对学生的泛化性能有显著影响，当小批量大小小于阈值时，学生无法学习；而当小批量大小大于阈值时，学生可以完美学习或非常
PDFa year ago
大规模深度学习的可伸缩实用自然梯度
本文提出了 Scalable and Practical Natural Gradient Descent（SP-NGD）算法，一种能够解决大规模深度神经网络训练中 mini-batch size 增加导致泛化能力下降的问题，且能够快速收敛
PDF4 years ago
SGD: 一般分析和改进速率
提出 SGD 收敛的通用简单定理，该定理可描述与特定概率法相关的各种 SGD 变体的收敛性。该定理是第一次执行这种分析，大多数 SGD 的变体以前从未明确考虑过。论文依赖于最近引入的期望平滑性的概念，并不依赖于随机梯度方差的统一界限。
PDF5 years ago
随机梯度下降的大批量大小计算效率低下
研究增加小批量大小以减少神经网络训练时间所面临的挑战，并通过广泛的经验分析得出，增加批量大小超过一定点对于训练或测试损失的收敛时间没有减少，而这一点通常低于当前系统的容量，说明常用的大批量优化训练策略在无法充分利用所有可用的计算资源之前就会
PDF6 years ago
CVPR基于 Kronecker-Factored 近似曲率的大规模分布式二阶优化在深度卷积神经网络中的应用
本文提出了使用次优化方法的替代方法，以解决深度神经网络的大规模分布式训练中可能出现的泛化差距问题，同时在基准测试中，我们的方法能够在更短的迭代次数内，就实现与一阶方法相当的泛化能力，并能够处理更大的 mini-batch。
PDF6 years ago
利用动量加速随机梯度下降优化过参数化学习
本文介绍了一种名为 MaSS 的算法，它使用与 SGD 相同的步长，但具有比 SGD 更快的加速收敛速度。该算法解决了 Nesterov SGD 的不收敛问题，并分析了收敛速度和最优超参数对于 mini-batch size 的依赖性。实验
PDF6 years ago
基于混合精度的高可扩展深度学习训练系统：四分钟内训练 Imagenet
提出了一个用于 GPU 集群的高度可扩展的深度学习训练系统，其中包括采用混合精度训练的方法、优化极大 mini-batch size 的方法、采用高度优化的全约约算法等，这些方法的使用将深度学习训练的吞吐量和精度取得了很好的平衡。
PDF6 years ago
MegDet: 一个大型 Mini-Batch 目标检测器
本文提出了一种新的大批量目标检测器（MegDet），通过一种学习率政策和交叉 GPU 批量归一化措施，可以显著缩短培训时间（例如从 33 小时到 4 小时）并提高准确性（按标准 COCO 数据集评估，mmAP 为 52.5％），从而比以前快
PDF7 years ago