May, 2023
深度学习算法的泛化能力理解:基于核化的 Renyi 熵视角
Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective
Yuxin Dong, Tieliang Gong, Hong Chen, Chen Li
TL;DR该论文提出了一种基于信息理论的方法,使用内核化的 Renyi 熵刻画了随机梯度下降算法的学习效率,实现了更紧密的泛化误差界限。