Jun, 2024

揭开 U-Net 模型中感受野尺寸对医学图像分割效果的神秘

PDF
TL;DR医学图像分割是医疗应用中关键的任务，本研究探讨了 U-Net 和 Attention U-Net 架构中的感受野（RF）大小及其对模型性能的影响，研究了 RF 大小与感兴趣区域特征、模型性能以及计算成本之间的关系，提出了表示给定网络层的理论感受野（TRF）的数学符号，并提出了两个新的度量指标 - 有效感受野（ERF）率和对象率来定量 ERF 内显著贡献像素的比例和分割对象相对于 TRF 大小的大小比。结果表明，存在一个最佳的 TRF 大小，成功地在捕获更广泛的全局背景信息和保持计算效率之间取得平衡，从而优化模型性能。注意力机制的 U-Net 模型始终优于基本 U-Net 模型，无论 TRF 大小如何。这些新颖的发现为开发用于医学成像的更高效 U-Net 架构提供了宝贵资源，并为未来的研究铺平了道路。还开发了一种计算 U-Net（和 Attention U-Net）模型的 TRF 的工具，并为给定模型和数据集建议了适当的 TRF 大小。
medical image segmentationu-netsreceptive field sizecomputational costsattention mechanisms
发现论文，激发创造
  • 深度卷积神经网络中有效感受野的理解

    研究了深度卷积网络单元感受野的特性，提出了有效感受野的概念，并分析了它在几种架构设计中的作用，以及非线性激活、dropout、下采样和跳跃连接对其产生的影响。结果表明，这些因素对有效感受野的大小具有影响，并提出了一些解决途径。

    Jan, 2017

  • 准确快速物体检测的感受野块网络

    本文提出了一种使用手工机制来强化轻量级特征的快速准确检测器，通过在轻量模型特征增强方面受视觉系统中感受野结构的启发，提出了一种新的 RF Block 模块来增强特征的可区分性和鲁棒性，并在 SSD 顶部组装 RFB，构建了 RFB 网络检测器，实验证明 RFB 网络能够在保持实时运行速度的情况下达到先进的深度检测器的性能水平。

    Nov, 2017

  • RF-Net：基于感受野的端到端图像匹配网络

    本文提出一种新的端到端可训练的匹配网络 RF-Net，基于感受野计算图像之间的稀疏对应关系。通过引入感受野来构建特征图，增强关键点检测效果，同时加入邻居掩码来提高描述符训练的稳定性。我们在公开数据集 HPatches 上训练并与其他方法进行了对比，实验结果表明 RF-Net 在多个基准数据集上优于现有的最先进方法。

    Jun, 2019

  • 使用深度卷积神经网络进行音频分类和标记的接收域正则化技术

    本文研究了不同音频任务中已知卷积神经网络架构的变体性能。结果表明，调整卷积神经网络的感受野对其广义性至关重要。通过跨越多个音频分类和标记任务进行系统测试，我们提出了几种系统方法来控制 CNN 的 RF，并表明使用我们提出的方法对 CNN 的 RF 进行正则化可以显着提高模型的广义性，在多项任务中取得了最优结果。

    May, 2021

  • RF-Next：卷积神经网络高效感受野搜索

    本研究提出了一种全局到本地的搜索方案，探索更好的感受野组合以提高任务性能，通过将感受野搜索插入不同的模型中，如对象检测、实例分割等，提高了模型性能，源代码公开可用。

    Jun, 2022

  • 深度卷积神经网络中感受野作为正则化器的应用 --- 声学场景分类

    本文研究了卷积神经网络在音频处理任务中的表现。通过对 Receptive Field 的分析，发现 RF 对模型的泛化能力很重要。通过系统地调整 CNNs 中的 RF，可以让深层模型表现得更好。

    Jul, 2019

  • 卷积神经网络的感受野细化可靠地提高了预测性能

    本研究提出了一种分析卷积神经网络接受野扩展的新方法，可以在训练之前预测无效图层，并优化给定架构的参数效率，证明该方法不仅可自动化进行，而且在包括 VGGNets、MobileNetV1、MobileNetV3、NASNet A（mobile）、MnasNet、EfficientNet 和 ConvNeXt 等多个常见架构中可以削减参数，在 ImageNet1K 的数据集上，所有上述模型的表现效果都有了新的最好结果。

    Nov, 2022

  • 视频 BagNet：短时空感受野提高长期行为识别的鲁棒性

    通过缩小行动识别模型的时间感受野，作者发现短时间感受野可以提高模型对子行动顺序变化的鲁棒性。

    Aug, 2023

  • 大感受野网络用于高比例图像超分辨率

    提出了 Large Receptive Field Networks，它可以扩展超分辨率网络的感受野，同时不增加深度或参数计数，通过实验证明该方法在提高准确率（PSNR / SSIM），减少参数计数和提高速度方面具有有效性。

    Apr, 2018

  • RFC-Net：在有限计算成本下学习医学图像分割的高分辨率全局特征

    本文介绍了一种松散稠密连接策略和采用 m 向树结构的可感受野链路网络 (RFC-Net)，用于学习高分辨率全局特征。实验证明 RFC-Net 在 Kvasir 和 CVC-ClinicDB 基准测试中对息肉分割取得了最先进的性能。

    Feb, 2023