BriefGPT.xyz
Nov, 2015
深度网络中对称性的理解
Understanding symmetries in deep networks
HTML
PDF
Vijay Badrinarayanan, Bamdev Mishra, Roberto Cipolla
TL;DR
本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。
Abstract
Recent works have highlighted scale invariance or
symmetry
present in the weight space of a typical
deep network
and the adverse effect it has on the Euclidean gradient based
→