Feb, 2024
测试风险的随机梯度流动力学及其对弱特征的精确解
Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features
Rodrigo Veiga, Anastasia Remizova, Nicolas Macris
TL;DR我们使用路径积分形式,对学习理论中连续时间随机梯度流动力学的测试风险进行了研究。在学习速率较小的情况下,我们提供了一个通式,用于计算纯梯度流动和随机梯度流动的测试风险曲线之间的差异。我们将该通式应用于一个简单的弱特征模型,显示了双峰下降现象,并明确计算了动力学中添加的随机项随时间和模型参数的修正。分析结果与离散时间随机梯度下降的模拟结果进行了比较,显示出良好的一致性。