Jul, 2024

关于深度状态空间模型学习动态的理论

TL;DR线性状态空间模型的学习动力学研究,通过分析数据的协方差结构、潜在状态大小和初始化对参数在梯度下降中的演变方式的影响,建立了一维状态空间模型和深度线性前馈网络动力学之间的联系,并分析了潜在状态过度参数化对收敛时间的影响,进而将结果拓展到具有非线性连接的深度状态空间模型的研究。这项工作是朝着深度状态空间模型学习动力学理论的一步。