Apr, 2024
深度学习中产生的受控粒子系统的收敛性分析：从有限样本到无限样本大小
Convergence analysis of controlled particle systems arising in deep learning: from finite to infinite sample size
Huafu Liao, Alpár R. Mészáros, Chenchen Mou, Chao Zhou
TL;DR该文研究了一类神经随机微分方程的极限行为，推导出一种关于神经随机微分方程的最优控制问题的汉密尔顿 - 雅可比 - 贝尔曼方程，通过分析反向随机黎卡蒂方程得出一种统一的正则估计结果，利用这些正则估计结果展示了目标函数极小值和神经随机微分方程的最优参数在样本大小趋于无穷的情况下的收敛性，而极限对象可以通过定义在波雷尔概率测度的 Wasserstein 空间上的适当函数来确定，并获得定量代数收敛速度。