Nov, 2022

卷积神经网络的感受野细化可靠地提高了预测性能

PDF
TL;DR本研究提出了一种分析卷积神经网络接受野扩展的新方法，可以在训练之前预测无效图层，并优化给定架构的参数效率，证明该方法不仅可自动化进行，而且在包括 VGGNets、MobileNetV1、MobileNetV3、NASNet A（mobile）、MnasNet、EfficientNet 和 ConvNeXt 等多个常见架构中可以削减参数，在 ImageNet1K 的数据集上，所有上述模型的表现效果都有了新的最好结果。
发现论文，激发创造
  • 使用深度卷积神经网络进行音频分类和标记的接收域正则化技术

    本文研究了不同音频任务中已知卷积神经网络架构的变体性能。结果表明，调整卷积神经网络的感受野对其广义性至关重要。通过跨越多个音频分类和标记任务进行系统测试，我们提出了几种系统方法来控制 CNN 的 RF，并表明使用我们提出的方法对 CNN 的 RF 进行正则化可以显着提高模型的广义性，在多项任务中取得了最优结果。

    May, 2021

  • 深度卷积神经网络中有效感受野的理解

    研究了深度卷积网络单元感受野的特性，提出了有效感受野的概念，并分析了它在几种架构设计中的作用，以及非线性激活、dropout、下采样和跳跃连接对其产生的影响。结果表明，这些因素对有效感受野的大小具有影响，并提出了一些解决途径。

    Jan, 2017

  • 深度卷积神经网络中感受野作为正则化器的应用 --- 声学场景分类

    本文研究了卷积神经网络在音频处理任务中的表现。通过对 Receptive Field 的分析，发现 RF 对模型的泛化能力很重要。通过系统地调整 CNNs 中的 RF，可以让深层模型表现得更好。

    Jul, 2019

  • 大感受野网络用于高比例图像超分辨率

    提出了 Large Receptive Field Networks，它可以扩展超分辨率网络的感受野，同时不增加深度或参数计数，通过实验证明该方法在提高准确率（PSNR / SSIM），减少参数计数和提高速度方面具有有效性。

    Apr, 2018

  • 卷积神经网络神经元的感受野、有效感受野和投影野是什么？

    本文详细介绍了如何计算卷积神经网络（CNN）的不同层级的神经元的感受野、有效感受野和投影野。这些重要概念不仅有助于更好地理解和分析卷积和反卷积网络，还有助于优化它们在实际应用中的性能。

    May, 2017

  • RF-Next：卷积神经网络高效感受野搜索

    本研究提出了一种全局到本地的搜索方案，探索更好的感受野组合以提高任务性能，通过将感受野搜索插入不同的模型中，如对象检测、实例分割等，提高了模型性能，源代码公开可用。

    Jun, 2022

  • 卷积神经网络中的结构化接受域

    通过将 “结构化感受野网络” 与可微的感受野表示方法相结合，我们既充分利用了预训练的优势，又避免了在小数据集上使用卷积神经网络面临过拟合的问题，该方法在多个数据集上进行了验证并得到了显著的提高。

    May, 2016

  • 神经回响：深层卷积滤波器复制生物感受野

    我们提供了支持的分析，显示出深度卷积核能够有效地复制哺乳动物视网膜中观察到的生物感受野的结构复杂性。在此基础上，我们提出了一个启发于生物感受野的初始化方案，并利用多个包含深度卷积的 CNN 架构在 ImageNet 数据集上进行实验分析，结果表明使用生物启发的权重初始化可以明显提高学习模型的准确性，这突显了生物启发型计算模型进一步推动视觉处理系统理解和改善卷积网络效果的潜力。

    Jan, 2024

  • 选择性卷积网络

    提出了一种动态选择机制的卷积神经网络，使每个神经元根据多个尺度的输入信息自适应地调整其感受野大小，该网络称为 Selective Kernel Networks (SKNets)，在 ImageNet 和 CIFAR 基准上表现优于现有的最先进架构，证明了神经元根据输入适应性地调整其感受野大小的能力。

    Mar, 2019

  • 准确性增强器：使用特征图重新校准提升性能

    通过引入低复杂度的 CNN 架构模块，我们的方法在提高模型表现方面相较于已有方法性能更好，尤其是在 ResNet-50 分类方面，其表现与 ResNet-152 相当，且具有良好的泛化性能。

    Mar, 2019