Jun, 2023

使用平衡的超级神经网络学习 CNN 池化架构

PDF
TL;DR通过分析 ResNet20 网络在 CIFAR10 实验数据集中使用不同 pooling 配置的训练性能，本文发现预定义下采样配置并非最优选择，可以通过神经网络架构搜索来优化。同时，本文建议采用平衡混合的 SuperNets，可以使权重模型自动关联池化配置，从而降低池化配置之间的权重共享和相互影响。实验结果表明，本文提出的方法在 CIFAR10、CIFAR100 和 Food101 数据集上都优于其他方法，并改善了默认池化配置的性能。
发现论文，激发创造
  • 使用 SoftPool 优化激活下采样

    提出了一种快速有效的方法，在卷积神经网络中通过指数加权降采样操作以更好地保留信息，从而提高分类准确率和动作识别性能。

    Jan, 2021

  • S3Pool: 随机空间采样池化

    本研究提出了一种具有随机空间采样的池化策略（S3Pool），其在多个流行的图像分类基准测试中表现出显著的改进。

    Nov, 2016

  • SSBNet：通过自适应采样提高视觉识别效率

    本文提出了插入自适应采样层到现有深度神经网络中以提高效率的 SSBNet，该方法在 ImageNet 和 COCO 数据集上达到了竞争性的图像分类和目标检测性能。

    Jul, 2022

  • 深金字塔残差网络

    探索使用逐渐增加特征映射维度的方式，提高深度残差神经网络的泛化能力，并提出了一种新的残差单元，增强了其分类准确性；实验表明，与原始的残差网络相比，该网络结构具有更好的泛化能力。

    Oct, 2016

  • 重组网络：学习由粗到细的特征聚合

    本文介绍了一种名为 “Recombinator Networks” 的模型，该模型可以在不影响鲁棒性的前提下，通过信息重组的方式实现对精确定位的支持，相较于传统的基于求和和拼接的方法，其精度有显著提升，并将误差降低了 30％。同时作者还提出了基于卷积神经网络的去噪预测模型，进一步提升了该模型的性能。

    Nov, 2015

  • Pi-NAS: 减少超级网络训练一致性偏移，提高神经结构搜索效率

    Pi-NAS 是一种非平凡的超网 - Pi 模型，利用跨路径学习减少不同路径之间特征的一致性移位并采用新颖的平均教师包含负样本克服参数移位和模型冲突，在不监督的情况下搜索可转移架构，并在 ImageNet 和一系列下游任务上展示了其相对于受监督的 NAS 的有效性和普适性。

    Aug, 2021

  • 卷积神经网络中的内容自适应下采样

    该论文提出了一种适应性下采样方案，通过允许以更高的分辨率处理信息丰富的区域而不是信息较少的区域，从而提高了各种已建立 CNN 的成本 - 准确性权衡效果。

    May, 2023

  • 频率低切池化 —— 插入即用以抵御灾难性过拟合

    本文介绍了一种去除伪影的下采样操作 ——FrequencyLowCut pooling，并通过结合 FGSM 的对抗训练在模型鲁棒性和过拟合方面取得了显著改善。

    Apr, 2022

  • 卷积神经网络中的学习步伐

    该论文介绍了 DiffStride，一种可学习个调整步幅的下采样层，在图像分类中表现出比标准下采样层更好的泛化性能和效率，并通过引入正则化项控制了网络的计算复杂度。

    Feb, 2022

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020