Apr, 2018
SHADE: 基于信息的深度学习正则化
SHADE: Information-Based Regularization for Deep Learning
TL;DR本文介绍了一种基于信息论的正则化方法SHADE,用于训练深度神经网络并提高分类性能。SHADE通过条件熵定义了一个先验,并将不变表示的学习与输入和标签的相关性的学习显式分离,同时提出了适用于深度学习的随机正则化器,以实现可行的训练方案。实验结果表明,相对于常见的正则化方案,该方法有效提升了几种标准架构的分类性能。