Sep, 2023

深度神经网络的核均衡方程

TL;DR在本文中,我们研究了深度神经网络对数据集分布进行估计的问题,并发现估计结果的不稳定性取决于数据密度和训练时长,通过推导出的核平衡方程,我们得到了解释不稳定性和尺度机制的现象学描述。该网络以数据集的局部平均作为预测,并根据方程确定平均的尺度,该尺度在训练过程中逐渐减小,导致了我们所研究的问题的不稳定性。