Jan, 2024
具有点线激活的等变网络的表征定理
A Characterization Theorem for Equivariant Networks with Point-wise
Activations
TL;DR等变神经网络在对称域上显示出了改进的性能、表现力和样本复杂度，但对于某些特定的对称性、表示和坐标选择，常见的逐点激活（如ReLU）不能实现等变性，则无法用于等变神经网络的设计。本文中我们提出的定理描述了所有可能的有限维表示、坐标选择和逐点激活的组合，以获得完全等变的层，这样可以广义地推广和加强现有的特征。值得注意的是，实际相关的特殊情况被作为必要的推论进行了讨论。事实上，我们证明旋转等变网络只能是不变的，因为对于任何与连通紧致群等变的网络来说都是如此。然后，我们讨论了当应用于恰好等变网络的重要实例时，我们的研究结果的影响。首先，我们对诸如具有逐点非线性和几何对应物的不变图网络之类的置换等变网络进行了完全表征，突出了一大批具有尚不清楚的表现能力和性能的模型。其次，我们表明了解离可操作卷积神经网络的特征空间是平凡表示。