Jan, 2017

深度卷积神经网络中有效感受野的理解

PDF
TL;DR研究了深度卷积网络单元感受野的特性，提出了有效感受野的概念，并分析了它在几种架构设计中的作用，以及非线性激活、dropout、下采样和跳跃连接对其产生的影响。结果表明，这些因素对有效感受野的大小具有影响，并提出了一些解决途径。
convolutional networksreceptive fieldseffective receptive fieldarchitecture designnonlinear activations
发现论文，激发创造
  • 卷积神经网络神经元的感受野、有效感受野和投影野是什么？

    本文详细介绍了如何计算卷积神经网络（CNN）的不同层级的神经元的感受野、有效感受野和投影野。这些重要概念不仅有助于更好地理解和分析卷积和反卷积网络，还有助于优化它们在实际应用中的性能。

    May, 2017

  • 卷积神经网络的感受野细化可靠地提高了预测性能

    本研究提出了一种分析卷积神经网络接受野扩展的新方法，可以在训练之前预测无效图层，并优化给定架构的参数效率，证明该方法不仅可自动化进行，而且在包括 VGGNets、MobileNetV1、MobileNetV3、NASNet A（mobile）、MnasNet、EfficientNet 和 ConvNeXt 等多个常见架构中可以削减参数，在 ImageNet1K 的数据集上，所有上述模型的表现效果都有了新的最好结果。

    Nov, 2022

  • 深度卷积神经网络中感受野作为正则化器的应用 --- 声学场景分类

    本文研究了卷积神经网络在音频处理任务中的表现。通过对 Receptive Field 的分析，发现 RF 对模型的泛化能力很重要。通过系统地调整 CNNs 中的 RF，可以让深层模型表现得更好。

    Jul, 2019

  • 大感受野网络用于高比例图像超分辨率

    提出了 Large Receptive Field Networks，它可以扩展超分辨率网络的感受野，同时不增加深度或参数计数，通过实验证明该方法在提高准确率（PSNR / SSIM），减少参数计数和提高速度方面具有有效性。

    Apr, 2018

  • RF-Next：卷积神经网络高效感受野搜索

    本研究提出了一种全局到本地的搜索方案，探索更好的感受野组合以提高任务性能，通过将感受野搜索插入不同的模型中，如对象检测、实例分割等，提高了模型性能，源代码公开可用。

    Jun, 2022

  • 使用深度卷积神经网络进行音频分类和标记的接收域正则化技术

    本文研究了不同音频任务中已知卷积神经网络架构的变体性能。结果表明，调整卷积神经网络的感受野对其广义性至关重要。通过跨越多个音频分类和标记任务进行系统测试，我们提出了几种系统方法来控制 CNN 的 RF，并表明使用我们提出的方法对 CNN 的 RF 进行正则化可以显着提高模型的广义性，在多项任务中取得了最优结果。

    May, 2021

  • 揭开 U-Net 模型中感受野尺寸对医学图像分割效果的神秘

    医学图像分割是医疗应用中关键的任务，本研究探讨了 U-Net 和 Attention U-Net 架构中的感受野（RF）大小及其对模型性能的影响，研究了 RF 大小与感兴趣区域特征、模型性能以及计算成本之间的关系，提出了表示给定网络层的理论感受野（TRF）的数学符号，并提出了两个新的度量指标 - 有效感受野（ERF）率和对象率来定量 ERF 内显著贡献像素的比例和分割对象相对于 TRF 大小的大小比。结果表明，存在一个最佳的 TRF 大小，成功地在捕获更广泛的全局背景信息和保持计算效率之间取得平衡，从而优化模型性能。注意力机制的 U-Net 模型始终优于基本 U-Net 模型，无论 TRF 大小如何。这些新颖的发现为开发用于医学成像的更高效 U-Net 架构提供了宝贵资源，并为未来的研究铺平了道路。还开发了一种计算 U-Net（和 Attention U-Net）模型的 TRF 的工具，并为给定模型和数据集建议了适当的 TRF 大小。

    Jun, 2024

  • 神经回响：深层卷积滤波器复制生物感受野

    我们提供了支持的分析，显示出深度卷积核能够有效地复制哺乳动物视网膜中观察到的生物感受野的结构复杂性。在此基础上，我们提出了一个启发于生物感受野的初始化方案，并利用多个包含深度卷积的 CNN 架构在 ImageNet 数据集上进行实验分析，结果表明使用生物启发的权重初始化可以明显提高学习模型的准确性，这突显了生物启发型计算模型进一步推动视觉处理系统理解和改善卷积网络效果的潜力。

    Jan, 2024

  • 选择性卷积网络

    提出了一种动态选择机制的卷积神经网络，使每个神经元根据多个尺度的输入信息自适应地调整其感受野大小，该网络称为 Selective Kernel Networks (SKNets)，在 ImageNet 和 CIFAR 基准上表现优于现有的最先进架构，证明了神经元根据输入适应性地调整其感受野大小的能力。

    Mar, 2019

  • 关于图卷积网络中的滤波器尺寸

    本文介绍一种基于图卷积的滤波器方法，通过引入一个超参数为基本组件注入矩阵滤波器，用于提高深度图卷积神经网络预测性能。

    Nov, 2018