ICMLDec, 2020
深度 ReLU 网络神经切向核最小特征值的严密界限
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks
Quynh Nguyen, Marco Mondelli, Guido Montufar
TL;DR本文通过对神经切向核的分析,提供深度 ReLU 网络 NTK 矩阵的最小特征值的紧密界限,考虑了有限和无限宽度的极端情况,研究了神经网络的内部特征矩阵的最小奇异值和输入输出特征映射的 Lipschitz 常数的上界。