Feb, 2014

避免非正常问题的超深度网络

TL;DR研究了深度高斯过程、网络结构、协方差函数、dropout和正则化策略对深度网络预测性能的影响。在标准网络结构中,网络表示容量会随层数增加而减少,通过提出一种新的网络结构来避免这一问题。同时,通过分析无穷多特征变换组合的深度协方差函数,阐明了Gaussian processes上dropout的影响。