BriefGPT.xyz
May, 2021
重新审视BatchNorm中的"批次
Rethinking "Batch" in BatchNorm
HTML
PDF
Yuxin Wu, Justin Johnson
TL;DR
该论文详细回顾了在视觉识别任务中BatchNorm所存在的问题,并且指出解决这些问题的关键是重新思考BatchNorm中“Batch”这个概念中的不同选择,通过提供这些问题及其缓解措施,帮助研究人员更有效地使用BatchNorm。
Abstract
batchnorm
is a critical building block in modern
convolutional neural networks
. Its unique property of operating on "
batches
" instead of i
→