ICMLJun, 2024
无偏差 ReLU 网络何时类似于线性网络？
When Are Bias-Free ReLU Networks Like Linear Networks?
Yedi Zhang, Andrew Saxe, Peter E. Latham
TL;DR我们研究了无偏差 ReLU 网络的表现力和学习动态。我们首先展示了两层无偏差 ReLU 网络的有限表现力：它们只能表达线性的奇函数。然后我们证明，在数据对称条件下，这些网络具有与线性网络相同的学习动态，从而得到了某些特定两层无偏差 ReLU 网络的闭式时间课程解，这在非线性网络中尚未实现。虽然深层无偏差 ReLU 网络比两层网络具有更强的表现力，但它们仍然与深层线性网络有一些相似之处。这些相似之处使我们能够借鉴线性网络的见解，进而对无偏差 ReLU 网络有新的理解。总的来说，我们的结果表明，对于无偏差 ReLU 网络的某些属性是由于与线性网络等价而产生的，并且暗示加入偏差或考虑非对称数据是探索非线性行为的途径。