Feb, 2024
利用最小描述长度在神经网络形式语言学习中弥合经验与理论的差距
Bridging the Empirical-Theoretical Gap in Neural Network Formal Language
Learning Using Minimum Description Length
TL;DR神经网络在形式语言学习任务中表现出了较好的逼近能力，然而，理论上证明了某些结构可以达到完美的广义，但实际上常用的目标函数（如L1、L2正则化、early-stopping和dropout）并不能得到理论上正确的解，而采用最小描述长度目标函数则能达到最优解。