Feb, 2020

Max-Pooling 网络的优化和泛化分析

PDF
TL;DR在深度学习中，池化操作是卷积网络的核心组成部分，可以自然地处理模式检测问题，但是我们没有从理论上理解何时可以进行全局优化，过参数化对泛化的影响是什么。本论文在一个受 “判别式” 和 “虚假” 的模式检测问题启发的数据生成分布下，对卷积最大池化架构进行理论分析，证明可以进行全局优化，即使是高度过参数化的模型，也可以很好地泛化，并通过实验证实，CNN 在此设置中明显优于全连接网络。
发现论文，激发创造
  • 卷积神经网络中广义池化函数：混合，门控和树

    通过泛化池化操作来提高深度神经网络的表现，我们提出了两个主要方向：(1) 通过最大池化和平均池化的组合策略来学习池化函数，(2) 学习一种树形融合池化滤波器的池化函数。实验表明，这些泛化的池化操作比传统的池化操作具有更好的不变性，并在多项广泛采用的基准数据集上创造了最优性能。

    Sep, 2015

  • 卷积神经网络正则化的最大池化减少丢失方法

    这篇论文研究了深度学习中 dropout 技术在 pooling layer 中的应用，提出了一种基于概率加权的 pooling 方法，称为 probabilistic weighted pooling，并通过实验证明了它的优越性。

    Dec, 2015

  • 卷积神经网络的 Dropout 训练

    本研究发现 max-pooling 的 dropout 等同于在训练时基于多项式分布随机选择激活，提出了概率加权池化来代替常用的 max-pooling，并在 MNIST 数据集上实现了 state-of-the-art 的结果，在 CIFAR-10 和 CIFAR-100 数据集上也取得了非常有竞争力的结果，最后比较了 max-pooling dropout 和随机池化的效果。

    Dec, 2015

  • 分数最大池化

    研究采用分数最大池化的卷积神经网络，其使用随机的方式构建合适的池区域，有效降低了过拟合问题，提高了数据集的性能表现。

    Dec, 2014

  • 深度网络中的细节保护池化

    本文介绍了一种基于最近图像降采样研究的深度学习方法，叫做细节保留池化 (DPP)，它可以放大空间变化并保留重要的结构细节，其参数可以与网络的其余部分一起学习，在几个数据集和网络上的实验证明 DPP 方法在性能上优于常规池化方法。

    Apr, 2018

  • 批归一化的网络中网络最大输出网络

    本文介绍了 Maxout network In Network (MIN) 这一新型深度学习结构的架构和实现方式，其应用了批量归一化和 dropout 等一系列优化方式，成功解决了在使用 rectifier units 时可能出现的梯度消失问题，同时通过 average pooling 方式进一步提高了信息抽象能力以及遏制了无关信息的干扰，最后在实验数据中取得了卓越的分类表现。

    Nov, 2015

  • 基于最大池化卷积神经网络的快速图像分割学习算法

    提出一种新的方法，通过单次处理所有图像以大幅提高效率来训练 MaxPooling 卷积网络，用于图像分割和自动钢材缺陷检测，可以取得出色的性能表现，训练时间短，1500 倍的加速。

    Feb, 2013

  • 卷积网络中的排序池化用于一 - shot 学习

    提出了广义的最大池化操作：$k$-th 最大值和排序池化操作来选择每个池化区域中的第 $k$ 个最大响应，结合局部一致性来选择输入图像的特征，从而提高网络的泛化能力，降低训练时间和误差率，并显著提高训练数据有限，如一次性学习一类应用时的准确性。

    Jul, 2020

  • 无参数层学习特征

    该论文探讨采用内置无参操作替换空间操作的网络架构的有效性，实验结果表明，这种架构可以在不牺牲模型精度的情况下进一步提高网络速度和效率，尤其适用于 ImageNet 数据集。

    Feb, 2022

  • 重组网络：学习由粗到细的特征聚合

    本文介绍了一种名为 “Recombinator Networks” 的模型，该模型可以在不影响鲁棒性的前提下，通过信息重组的方式实现对精确定位的支持，相较于传统的基于求和和拼接的方法，其精度有显著提升，并将误差降低了 30％。同时作者还提出了基于卷积神经网络的去噪预测模型，进一步提升了该模型的性能。

    Nov, 2015