Jan, 2024

卷积神经网络中的 DiffStride 和 Spectral Pooling 的混合

PDF
TL;DR本研究提出了一种卷积神经网络模型，通过反向传播结合频谱汇聚技术，执行学习可调步长技术的下采样，旨在保留图像中的大部分信息。与基线方法 DiffStride 相比，DiffStride 与频谱汇聚的混合方法在准确率上提高了 0.0094。
stridediffstride methodmax pooling downsamplingspectral poolingcnn model
发现论文，激发创造
  • 卷积神经网络中的学习步伐

    该论文介绍了 DiffStride，一种可学习个调整步幅的下采样层，在图像分类中表现出比标准下采样层更好的泛化性能和效率，并通过引入正则化项控制了网络的计算复杂度。

    Feb, 2022

  • 一种用于低分辨率图像和小物体的新卷积神经网络构建模块：不再使用步幅卷积或池化

    该研究指出，现有 CNN 结构中存在缺陷的设计，即使用了步幅卷积和 / 或池化层，导致信息丢失和功能表示效果欠佳。因此，本研究提出新的 CNN 模块 SPD-Conv，以取代现有的卷积和池化层，可应用于大多数 CNN 架构，特别是在低分辨率图像和小目标的困难任务上，我们的方法明显优于先进的深度学习模型。

    Aug, 2022

  • S3Pool: 随机空间采样池化

    本研究提出了一种具有随机空间采样的池化策略（S3Pool），其在多个流行的图像分类基准测试中表现出显著的改进。

    Nov, 2016

  • 使卷积网络再次具有平移不变性

    本篇研究提出，在现代卷积网络中添加抗锯齿模块能较好地提高模型的精度，使其具有更好的普适性和鲁棒性。

    Apr, 2019

  • 卷积神经网络的频谱表示

    本研究旨在通过应用离散傅立叶变换和频谱表示提供有效的计算卷积方法，并且展示频谱域应用于卷积神经网络设计的创新，如频谱池化、随机修改分辨率的新形式随机正则化、卷积过滤器的复系数频谱参数化等。在不使用任何 dropout 或 max-pooling 的情况下，这些方法在分类和逼近任务中取得了有竞争力的结果，并且观察到这些方法可以显著加快训练的收敛速度。

    Jun, 2015

  • 使用平衡的超级神经网络学习 CNN 池化架构

    通过分析 ResNet20 网络在 CIFAR10 实验数据集中使用不同 pooling 配置的训练性能，本文发现预定义下采样配置并非最优选择，可以通过神经网络架构搜索来优化。同时，本文建议采用平衡混合的 SuperNets，可以使权重模型自动关联池化配置，从而降低池化配置之间的权重共享和相互影响。实验结果表明，本文提出的方法在 CIFAR10、CIFAR100 和 Food101 数据集上都优于其他方法，并改善了默认池化配置的性能。

    Jun, 2023

  • 深度网络中的细节保护池化

    本文介绍了一种基于最近图像降采样研究的深度学习方法，叫做细节保留池化 (DPP)，它可以放大空间变化并保留重要的结构细节，其参数可以与网络的其余部分一起学习，在几个数据集和网络上的实验证明 DPP 方法在性能上优于常规池化方法。

    Apr, 2018

  • 卷积神经网络中是否需要跨度调整

    该论文提供了关于现代卷积神经网络中步幅操作作用的新颖且数学严格的视角，并通过该等价性表征了步幅作为通道之间参数共享的另一种机制，从而降低了训练复杂度。

    Dec, 2017

  • 使用 SoftPool 优化激活下采样

    提出了一种快速有效的方法，在卷积神经网络中通过指数加权降采样操作以更好地保留信息，从而提高分类准确率和动作识别性能。

    Jan, 2021

  • 频率低切池化 —— 插入即用以抵御灾难性过拟合

    本文介绍了一种去除伪影的下采样操作 ——FrequencyLowCut pooling，并通过结合 FGSM 的对抗训练在模型鲁棒性和过拟合方面取得了显著改善。

    Apr, 2022