Apr, 2024
具有通用激活函数的全连接双层神经网络的解空间和存储容量
Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions
Sota Nishiyama, Masayuki Ohzeki
TL;DR我们通过统计物理学中的复制法，分析具有通用激活函数的全连接双层神经网络的解空间结构和存储容量，并发现存储容量与参数的关系是有限的，在无限宽度的条件下，网络的权重表现出负相关性，并且随着数据集大小的增加，存在一个特定的转变点触发相变，权重的置换对称性被破坏，解空间分裂成不相交的区域。我们进一步确定了这一转变点和存储容量与激活函数的选择之间的依赖关系，这些发现有助于理解激活函数和参数数量对解空间结构的影响，可能为根据特定目标选择合适的架构提供了洞见。