卷积神经网络中的翻转 - 旋转 - 池化卷积和拆分丢弃用于图像分类

Jul, 2015

卷积神经网络中的翻转 - 旋转 - 池化卷积和拆分丢弃用于图像分类

Flip-Rotate-Pooling Convolution and Split Dropout on Convolution Neural Networks for Image Classification

Fa Wu, Peijun Hu, Dexing Kong

TL;DR本文介绍一种新的 Dropout 方法 ——Split Dropout (sDropout)，以及一些旋转卷积技术，用于提高卷积神经网络在图像分类中的性能和旋转不变性。sDropout 将数据随机分成两个子集，并在训练过程中同时保留这两个子集。此外，RPC 和 FRPC 旋转卷积技术编码旋转不变性到网络中，而不会增加额外的参数。经过实验验证，sDropout 不仅提高了性能，而且收敛更快。FRPC 和 sDropout 在 ImageNet2012 分类任务中带来了 1.18％的分类准确率提高。

Abstract

This paper presents a new version of Dropout called split dropout (sDropout) and rotational convolution techniques to improve CNNs' performance on image classification. The widely used standard Dropout has advant

split dropout rotational convolution cnn performance rotation invariance imagenet2012

发现论文，激发创造

密集预测的高效不变卷积神经网络

本文提出了基于核旋转和翻转的一组方法，以实现对卷积神经网络中的旋转和翻转不变性，结果表明，这些方法能够在合理的资源要求下实现不同的不变性。

Nov, 2017

用于图像分类和搜索的变换不变卷积神经网络

该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性，从而显著提高了 CNN 在图片识别等许多基准任务上的表现。

Nov, 2019

谱 Dropout 正则化深度神经网络

提出了一种称为 `Spectral Dropout' 的新方法，它可以通过固定基函数的正交变换的形式将其转化为正则卷积神经网络 (CNN) 的权重层，通过消除神经网络激活的弱且嘈杂的傅里叶系数来预防过拟合，相比当前正则化方法具有显著提高网络收敛速度以及神经元精简率的效果，并且可以与其他正则化方法共同使用。

Nov, 2017

卷积神经网络的 Dropout 训练

本研究发现 max-pooling 的 dropout 等同于在训练时基于多项式分布随机选择激活，提出了概率加权池化来代替常用的 max-pooling，并在 MNIST 数据集上实现了 state-of-the-art 的结果，在 CIFAR-10 和 CIFAR-100 数据集上也取得了非常有竞争力的结果，最后比较了 max-pooling dropout 和随机池化的效果。

Dec, 2015

频率低切池化 —— 插入即用以抵御灾难性过拟合

本文介绍了一种去除伪影的下采样操作 ——FrequencyLowCut pooling，并通过结合 FGSM 的对抗训练在模型鲁棒性和过拟合方面取得了显著改善。

Apr, 2022

深度卷积神经网络中有效高效的 dropout

本文主要研究卷积神经网络（CNNs）的正则化问题，提出了几种改进的 dropout 变体，通过在卷积操作之前放置 dropout 操作或将 BN 替换为 GN，以减少 dropout 和其后的 BN 之间的矛盾，以提高 CNNs 的训练效果和正则化。实验证明，通过这些方法构建的 CNN 的性能明显优于现有的 CNN，这主要归功于更好的正则化和隐式模型集成效应。

Apr, 2019

亲兄弟中辍

本文提出了一种名为同胞 dropout 的简单技术，利用 dropout 思想训练两个相同参数的 RNN，通过最小化这些 RNN 的（pre-softmax）预测之间的差异，从而使 RNN 的表示对于 dropout 掩码不变。在序列建模和图像字幕任务中达到了最先进的结果。

Oct, 2017

Spatial-SpinDrop: 基于空间 dropout 的二进制贝叶斯神经网络及自旋电子学实现

本篇论文介绍了一种采用 MC-SpatialDropout 技术的空间 dropout 的 BayNNs 方法，该方法使用尺度剪枝和自旋体制，以降低硬件成本和能耗，并且在有效降低能源消耗的前提下保持了较高的准确性。

Jun, 2023

S3Pool: 随机空间采样池化

本研究提出了一种具有随机空间采样的池化策略（S3Pool），其在多个流行的图像分类基准测试中表现出显著的改进。

Nov, 2016

卷积神经网络中的区域旋转层

本文提出一种可插入到既有卷积神经网络中的模块，直接将旋转不变性整合到 CNN 的特征提取层中，而不会增加模型复杂度，通过仅对立体数据进行训练，在旋转测试集上也能表现良好，这将适用于生物医学和天文学等难以获取垂直样本或目标没有方向性的领域，评估结果表明本模块能够有效提高 LeNet-5，ResNet-18 和 tiny-yolov3 的性能表现。

Feb, 2022