AAAIOct, 2020
记忆批归一化的双向传播
Double Forward Propagation for Memorized Batch Normalization
Yong Guo, Qingyao Wu, Chaorui Deng, Jian Chen, Mingkui Tan
TL;DR本文提出了一种基于多个最近批次来获取更准确、更稳健统计的 Memorized Batch Normalization (MBN),并使用 Double-Forward scheme 来缓解分布漂移问题,相较于现有的方法,在训练和推理中表现更加稳定,并显著提高了模型的泛化性能。