介绍了一种新型的池化算子 RNNpool—— 基于循环神经网络,可在大的图像区域上高效地聚合特征,快速下采样激活映射。在标准视觉任务中应用于 MobileNets、DenseNet 等多种体系结构,可显著降低推理的计算复杂度和峰值内存使用量,保持可比的准确性。使用 RNNpool 与标准 S3FD 体系结构构建了一种面部检测方法,在 256 KB RAM 以下的微型控制器上实现了最先进的 MAP。
Feb, 2020
本文介绍一种基于随机过程和多项分布替代传统确定性池化操作的正则化卷积神经网络方法,并证明其能够与其他正则化方法相结合,如辍学和数据增强,实现更好的图像分类表现。
Jan, 2013
本研究提出了一种成本可调的卷积神经网络推理方法 - 随机下采样点(SDPoint),通过对特征图进行随机下采样,使得同一模型的不同 SDPoint 实例具有不同的计算成本,并在训练中实施参数共享以提高正则化效果,在推理阶段,可根据不同的推理成本选择不同的 SDPoint 实例,已在图像分类问题上得到验证。
Jan, 2018
提出了一种快速有效的方法,在卷积神经网络中通过指数加权降采样操作以更好地保留信息,从而提高分类准确率和动作识别性能。
Jan, 2021
该论文提出了一种无需使用空间信息的新型池化方法,可以学习图像序列的特征软聚类,从而改进特征的时间相干性,且在图像分类任务上表现优异。
通过分析 ResNet20 网络在 CIFAR10 实验数据集中使用不同 pooling 配置的训练性能,本文发现预定义下采样配置并非最优选择,可以通过神经网络架构搜索来优化。同时,本文建议采用平衡混合的 SuperNets,可以使权重模型自动关联池化配置,从而降低池化配置之间的权重共享和相互影响。实验结果表明,本文提出的方法在 CIFAR10、CIFAR100 和 Food101 数据集上都优于其他方法,并改善了默认池化配置的性能。
Jun, 2023
为了降低 CNN 计算中的空间冗余,本文提出了一种采样 - 插值方案,并针对离散采样位置的不可微性,采用基于 Gumbel-Softmax 分布的重新参数化技巧,以在计算机视觉任务中大幅节省计算量,同时保持准确性。
Mar, 2020
该论文提出了一种适应性下采样方案,通过允许以更高的分辨率处理信息丰富的区域而不是信息较少的区域,从而提高了各种已建立 CNN 的成本 - 准确性权衡效果。
May, 2023
本文介绍了两种硬件友好的方法来在深度脉冲神经网络中实现 Max-Pooling,并在 Intel 的 Loihi 神经形态硬件上执行 SNNs,证明了我们的方法的可行性。
May, 2022
本文介绍了一种去除伪影的下采样操作 ——FrequencyLowCut pooling,并通过结合 FGSM 的对抗训练在模型鲁棒性和过拟合方面取得了显著改善。
Apr, 2022