ICLROct, 2019
超越线性化:关于宽神经网络的二次及高阶逼近
Beyond Linearization: On Quadratic and Higher-Order Approximation of Wide Neural Networks
Yu Bai, Jason D. Lee
TL;DR该研究探讨了超参数化神经网络的训练,通过随机化神经网络,使其模型不再受限于 NTK,允许其与二次模型进行耦合,并且证明了产生的随机网络的优化具有良好的局面性态,且样本复杂度与 NTK 相匹配,同时在分布特定条件下可更为优秀。