BriefGPT.xyz
Feb, 2017
神经网络的随机矩阵方法
A Random Matrix Approach to Neural Networks
HTML
PDF
Cosme Louart, Zhenyu Liao, Romain Couillet
TL;DR
研究Gram随机矩阵模型,证明当$n,p,T$同时增长时,具有相似行为与样本协方差矩阵模型,应用于单层随机神经网络的渐进性能估计,提供了对随机神经网络基础机制的实际见解,并快速调整网络超参数。
Abstract
This article studies the
gram random matrix model
$G=\frac1T\Sigma^{\rm T}\Sigma$, $\Sigma=\sigma(WX)$, classically found in
random neural networks
, where $X=[x_1,\ldots,x_T]\in\mathbb{R}^{p\times T}$ is a (data)
→