通过防止特征检测器的共适应提高神经网络

Jul, 2012

通过防止特征检测器的共适应提高神经网络

Improving neural networks by preventing co-adaptation of feature detectors

Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, Ruslan R. Salakhutdinov

TL;DR通过在每个训练样本中随机省略一半的特征检测器来减少网络的过度拟合，从而提高了神经网络在许多基准任务上的性能，特别是在语音和物体识别方面。

Abstract

When a large feedforward neural network is trained on a small training set, it typically performs poorly on held-out test data. This "overfitting" is greatly reduced by randomly omitting half of the feature detec

neural network overfitting dropout benchmark tasks object recognition

发现论文，激发创造

连续性舍弃

通过将传统的二值 Dropout 扩展为连续 Dropout，本文介绍了一种更贴近于神经元活动特性的 Dropout 算法，并在多个图像数据集上和其他 Dropout 算法进行对比实验，结果表明该方法在避免特征检测器的共适应方面表现更好，同时提高了测试性能。

Nov, 2019

关于在具有高度区分特征的数据上微调的后果

在迁移学习时代，从头开始训练神经网络已经过时。迁移学习利用先前的知识进行新任务训练，节省计算资源。然而，我们发现一个显著的缺点：网络倾向于优先考虑基本的数据模式，而忽视宝贵的预先学习特征。我们将这种行为称为 “特征侵蚀”，并分析其对网络性能和内部表示的影响。

Oct, 2023

目标检测的实时网络剪枝

本文研究了如何利用图像尺度上的特征出现来修剪神经网络，以减少网络中的参数数量，并在 PASCAL 2007 目标检测挑战赛中证明可以消除一些全连接层中接近零的激活单元，从而实现低影响的参数减少。

May, 2016

通过逐标识位判别性特征抑制正则化神经网络训练

本文提出一种基于对抗训练框架的 Adversarial Suppression of Identity Features (ASIF) 方法，通过抑制网络对特定实例的过拟合，提高网络针对小数据集或嘈杂标签的泛化能力。

Sep, 2022

数据丢弃：优化卷积神经网络的训练数据

本文运用深度学习中的卷积神经网络构建了一种 Two-Round 训练方法，定位和排除不利于提高泛化准确性的训练样本，从而提高了基于图像分类和降噪的高级和低级计算机视觉任务的处理性能。

Sep, 2018

RePr: 卷积滤波器的改进训练

研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

Nov, 2018

课程辍学

本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

Mar, 2017

特征污染：神经网络学习不相关特征且泛化能力不佳

深度神经网络在分布变化下的泛化能力与特征污染、归纳偏差等因素相关，并非仅仅是偶然性相关。

Jun, 2024

利用图像分类特征恰当复用提升物体检测

研究表明，在目标检测中固定经初始化的特征提取器可有效提高检测模型的性能，并节省计算资源。

Apr, 2022

神经网络中的特征学习和泛化：随机特征增强

本文探讨了二层 ReLU 神经网络梯度下降训练过程中的特征学习，研究了使用 XOR 函数生成的带标签二进制数据，对一定比例的训练标签的干扰具有影响。我们证明了线性分类器并不比随机猜测的效果更好，而使用梯度下降训练二层 ReLU 神经网络可以达到接近噪声率的泛化误差。我们提出了一种新的证明技术，证明了在初始化时，绝大多数神经元都具有随机特征的性质，与有用特征之间的相关性较弱，而梯度下降动态将这些弱随机特征 “放大” 为强有用特征。

Feb, 2022