Sep, 2023

线性神经网络的几何:对置等变性和不变性的研究

TL;DR线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种,我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论,如权重共享特性,并证明所有不变的线性函数可以通过线性自编码器进行学习。