BriefGPT.xyz
Jan, 2017
惩罚自信输出分布以正则化神经网络
Regularizing Neural Networks by Penalizing Confident Output Distributions
HTML
PDF
Gabriel Pereyra, George Tucker, Jan Chorowski, Łukasz Kaiser, Geoffrey Hinton
TL;DR
本文研究在神经网络中加入惩罚输出分布熵的正，则可以有效防止过拟合，并且可以通过最大熵的置信惩罚和标签平滑相连，取得了基于图像识别、语言建模、机器翻译和语音识别的6个数据集的最新成果。
Abstract
We systematically explore regularizing
neural networks
by penalizing low
entropy
output distributions. We show that penalizing low
entropy
→