May, 2024
线性网络中的混合动力学:统一惰性和活跃状态
Mixed Dynamics In Linear Networks: Unifying the Lazy and Active Regimes
Zhenfeng Tu, Santiago Aranguri, Arthur Jacot
TL;DR线性网络的训练动力学在两个不同的设置中得到了深入研究:懒惰模式和均衡 / 活跃模式,具体取决于网络的初始化和宽度。我们提供了一个令人惊讶地简单的统一公式,用于描述学习矩阵的演化,其中包括懒惰模式和均衡模式,还有两者之间的混合模式。