BriefGPT.xyz
Sep, 2023
大规模与无限宽度的深度学习莱休讲座
Les Houches Lectures on Deep Learning at Large & Infinite Width
HTML
PDF
Yasaman Bahri, Boris Hanin
TL;DR
这篇论文总结了2022年Les Houches暑期学校上有关深度神经网络无穷宽极限和大宽度区域的讲座，涵盖了这些网络的各种统计和动力学特性。具体来说，讲者讨论了随机深度神经网络的特性、训练后与线性模型、核函数和高斯过程在无穷宽极限中产生的关联，以及初始化和训练后大但有限宽度网络的摄动和非摄动处理。
Abstract
These lectures, presented at the 2022 Les Houches Summer School on
statistical physics
and
machine learning
, focus on the
infinite-width limit
→