Sep, 2023
连接 NTK 和 NNGP:核区域中神经网络学习动力学的统一理论框架
Connecting NTK and NNGP: A Unified Theoretical Framework for Neural Network Learning Dynamics in the Kernel Regime
Yehonatan Avidan, Qianyi Li, Haim Sompolinsky
TL;DR通过使用具有随机初始化的无限宽度深度网络集合的马尔可夫接近学习模型,结合数值评估来合并和统一神经切向核(NTK)和神经网络高斯过程(NNGP)理论,并提供对机器学习中深度神经网络学习过程的全面理解。