Sep, 2023
神经网络层矩阵分解揭示潜在流形编码和记忆容量
Neural Network Layer Matrix Decomposition reveals Latent Manifold Encoding and Memory Capacity
Ng Shyh-Chang, A-Li Luo, Bo Qiu
TL;DR针对连续激活函数的每个稳定收敛的神经网络，我们证明了通用逼近定理的逆定理，即权重矩阵实际上编码了一个连续函数，它在有界区域内以有限的误差边界近似训练数据集。我们进一步通过每个神经网络层的权重矩阵的截断奇异值分解使用 Eckart-Young 定理，阐明了每个神经网络层编码和表示训练数据集的潜在空间流形的特性，以及每个神经网络层执行的数学操作的几何性质。我们的结果对于理解神经网络如何通过利用存储容量来实现表达能力以及两者的互补性具有重要意义。这种层矩阵分解（LMD）进一步暗示了神经网络层的特征分解与 Hopfield 网络和 Transformer 神经网络模型的最新进展之间存在密切关系。