Nov, 2022

消失的决策边界复杂度与强第一组件

TL;DR通过研究神经网络的决策边界,发现深度学习模型的边界相对简单,但通过先前模型的决策边界可以研究最终模型的泛化能力,此外还探讨了深度模型的第一主成分的强度、优化器的奇异性以及 ResNet 中跳跃连接的影响。