Dec, 2023

揭秘批归一化对于现实测试时适应性的作用

TL;DR该研究论文探讨了小批量数据受损的问题,通过揭示批量归一化的不准确目标统计数据主要源于小批量中大幅减少的类别多样性,引入了一种简单的工具Test-time Exponential Moving Average (TEMA),以弥补训练和测试批次之间的类别多样性差距,进而提高准确的目标估计,在不需要训练或调参的情况下显著提高模型的鲁棒性。