Jul, 2023

近线性时间投影到ℓ₁,∞球;稀疏自编码器的应用

TL;DR寻找稀疏性对于加快大规模神经网络的训练至关重要。本文介绍了一种用于 l1,∞范数球的新投影算法,其最坏情况时间复杂度为 O (nm+Jlog (nm))。我们提出在训练自编码器时将 l1,∞范数球投影结合进去,以强制进行特征选择和稀疏化权重。我们展示了无论是生物学应用中的情况还是一般稀疏性情况下,我们的方法都是最快的。