BriefGPT.xyz
Dec, 2017
梯度下降批量大小调整的代价敏感方法
Cost-Sensitive Approach to Batch Size Adaptation for Gradient Descent
HTML
PDF
Matteo Pirotta, Marcello Restelli
TL;DR
本文提出一种新方法，通过优化预期改进的线性或二次泰勒近似的下界与用于估计梯度的样本数量之间的比率来自动确定随机梯度下降方法中的批量大小，以解决梯度估计准确性和更新成本之间的折衷关系，并通过在流行的分类任务上与相关方法进行实证比较来评估其性能。
Abstract
In this paper, we propose a novel approach to automatically determine the
batch size
in
stochastic gradient descent
methods. The choice of the
ba
→