BriefGPT.xyz
Ask
alpha
关键词
neural tangent kernel (ntk)
搜索结果 - 2
深度网络中的特征学习与泛化及正交权重
完全连接的深度神经网络,其权重从独立的高斯分布初始化,可以调整到临界状态,阻止信号在网络中传播时呈指数增长或衰减。然而,这种网络仍然会表现出与网络深度线性增长的波动,这可能会削弱与深度相当的宽度网络的训练。我们在理论上证明了矩形网络与双曲正
→
PDF
9 months ago
连接 NTK 和 NNGP:核区域中神经网络学习动力学的统一理论框架
通过使用具有随机初始化的无限宽度深度网络集合的马尔可夫接近学习模型,结合数值评估来合并和统一神经切向核(NTK)和神经网络高斯过程(NNGP)理论,并提供对机器学习中深度神经网络学习过程的全面理解。
PDF
10 months ago
Prev
Next