Jan, 2013

深度卷积神经网络的随机池化正则化

PDF
TL;DR本文介绍一种基于随机过程和多项分布替代传统确定性池化操作的正则化卷积神经网络方法，并证明其能够与其他正则化方法相结合，如辍学和数据增强，实现更好的图像分类表现。
convolutional neural networksregularizationstochastic proceduremultinomial distributiondata augmentation
发现论文，激发创造
  • 卷积神经网络正则化的最大池化减少丢失方法

    这篇论文研究了深度学习中 dropout 技术在 pooling layer 中的应用，提出了一种基于概率加权的 pooling 方法，称为 probabilistic weighted pooling，并通过实验证明了它的优越性。

    Dec, 2015

  • 随机变换和扰动的正则化对深度半监督学习的提升

    本文探讨利用卷积神经网络进行半监督学习的问题，提出利用随机数据增强、dropout、随机最大池化等技术来提高分类器的鲁棒性及稳定性，并设计了一种利用多次前馈预测结果来减小随机性差异的无监督损失函数，并在多个基准数据集上进行验证。

    Jun, 2016

  • S3Pool: 随机空间采样池化

    本研究提出了一种具有随机空间采样的池化策略（S3Pool），其在多个流行的图像分类基准测试中表现出显著的改进。

    Nov, 2016

  • 卷积神经网络的 Dropout 训练

    本研究发现 max-pooling 的 dropout 等同于在训练时基于多项式分布随机选择激活，提出了概率加权池化来代替常用的 max-pooling，并在 MNIST 数据集上实现了 state-of-the-art 的结果，在 CIFAR-10 和 CIFAR-100 数据集上也取得了非常有竞争力的结果，最后比较了 max-pooling dropout 和随机池化的效果。

    Dec, 2015

  • 用全点卷积神经网络对自然图像的统计规律进行建模

    本文提出了一种基于深度学习的 CNN 网络结构来模拟自然图像的统计规律，并使用随机重排像素的方式提高 CNN 对于像素分布的关注度，采用点卷积核取代大卷积核，实现了更好的统计表示能力。实验结果表明，该网络在颜色校正和图像去雾两个应用中达到了可比较的性能，并且参数数量和计算成本比现有架构更小。

    Jan, 2018

  • 神经网络中的约束实现：一种随机增广拉格朗日方法

    提出了一种用于深度神经网络（DNNs）的新颖正则化方法，将训练过程视为约束优化问题，利用随机增广拉格朗日乘子法（SAL）实现更灵活高效的正则化机制，对白盒模型进行改进以确保可解释性，实验证明该方法在图像分类任务上实现了更高的准确度并具有更好的约束满足性，从而展示其在受限设置下优化 DNNs 的潜力。

    Oct, 2023

  • 内存受限的深度卷积神经网络

    本研究探讨了在卷积神经网络的训练过程中使用稀疏性正则化的方法。我们的实验结果表明，使用这种正则化方法可以大幅减少神经网络所需的存储和计算开销，并且不会显著降低准确性。

    Dec, 2014

  • 基于分组抑制的特征正则化方法用于鲁棒分类

    提出了一种使用组间抑制（group-wise inhibition）的卷积神经网络（CNN）正则化方法，通过处理具有不同激活分布的特征映射来考虑特征独立性，以实现对于严峻环境如腐败、对抗样本和低数据区域的稳健分类。

    Mar, 2021

  • PatchShuffle 正则化

    本文提出一个名为 PatchShuffle 的新的正则化方法，可以帮助卷积神经网络（CNN）模型在数据较少的情况下改进其泛化能力，同时改善其对噪声和局部变化的鲁棒性。通过在本地补丁中混洗像素，PatchShuffle 生成具有内部无序补丁的图像和特征映射，从而创建丰富的本地变化。本文实验证明，采用 PatchShuffle 可以作为各种训练正则化技术（例如权值衰减，模型集成和 Dropout）的有益补充，并提高 CNN 模型的泛化能力。

    Jul, 2017

  • 深度网络中的细节保护池化

    本文介绍了一种基于最近图像降采样研究的深度学习方法，叫做细节保留池化 (DPP)，它可以放大空间变化并保留重要的结构细节，其参数可以与网络的其余部分一起学习，在几个数据集和网络上的实验证明 DPP 方法在性能上优于常规池化方法。

    Apr, 2018