CVPROct, 2019
关于结构化 Dropout 正则化特性的研究
On the Regularization Properties of Structured Dropout
Ambar Pal, Connor Lane, René Vidal, Benjamin D. Haeffele
TL;DR单层线性网络中,DropBlock 引入了谱 k-support 正则化,促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout,某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网络中,并用经常使用的网络结构实验验证了理论结论和假设。