Jan, 2024

神经回响：深层卷积滤波器复制生物感受野

PDF
TL;DR我们提供了支持的分析，显示出深度卷积核能够有效地复制哺乳动物视网膜中观察到的生物感受野的结构复杂性。在此基础上，我们提出了一个启发于生物感受野的初始化方案，并利用多个包含深度卷积的 CNN 架构在 ImageNet 数据集上进行实验分析，结果表明使用生物启发的权重初始化可以明显提高学习模型的准确性，这突显了生物启发型计算模型进一步推动视觉处理系统理解和改善卷积网络效果的潜力。
depthwise convolutional kernelsbiological receptive fieldsmammalian retinainitialization schemebiologically derived weights
发现论文，激发创造
  • 利用生物神经元属性的卷积神经网络

    通过结合生物神经元原理，使用基于神经科学的计算模型来增强训练效率和提高准确性，以推动组合感受野模型作为卷积神经网络的基础层，从而在 CIFAR-10、CIFAR-100 和 ImageNet-100 数据集上实现性能显著提升（平均提升 5%-10%）

    Nov, 2023

  • 卷积神经网络的感受野细化可靠地提高了预测性能

    本研究提出了一种分析卷积神经网络接受野扩展的新方法，可以在训练之前预测无效图层，并优化给定架构的参数效率，证明该方法不仅可自动化进行，而且在包括 VGGNets、MobileNetV1、MobileNetV3、NASNet A（mobile）、MnasNet、EfficientNet 和 ConvNeXt 等多个常见架构中可以削减参数，在 ImageNet1K 的数据集上，所有上述模型的表现效果都有了新的最好结果。

    Nov, 2022

  • 深度卷积神经网络中有效感受野的理解

    研究了深度卷积网络单元感受野的特性，提出了有效感受野的概念，并分析了它在几种架构设计中的作用，以及非线性激活、dropout、下采样和跳跃连接对其产生的影响。结果表明，这些因素对有效感受野的大小具有影响，并提出了一些解决途径。

    Jan, 2017

  • 揭示不可见的东西：训练的深度可分卷积核中的可识别聚类

    最近在深度可分离卷积神经网络（DS-CNNs）方面的进展已经引发了新的架构，通过相当大的可扩展性和准确性优势，超越了经典 CNNs 的性能。本文揭示了 DS-CNN 架构的另一个引人注目的特性：它们训练后的深度卷积核在所有层中出现了明显可辨和可解释的模式。通过对数百万个训练滤波器的广泛分析，我们使用自编码器进行无监督聚类，对这些滤波器进行了分类。令人惊讶的是，这些模式汇聚成了几个主要簇，每个簇都类似于高斯差分函数（DoG）及其一阶和二阶导数。值得注意的是，我们能够将来自最先进的 ConvNextV2 和 ConvNeXt 模型的滤波器分别分类为 95％和 90％以上。这一发现不仅仅是技术上的奇特之处；它回应了神经科学家长期以来对哺乳动物视觉系统的基础模型的提议。因此，我们的结果加深了对训练后 DS-CNN 的出现属性的理解，并在人工和生物视觉处理系统之间提供了一个桥梁。更广泛地说，它们为未来更具可解释性和生物灵感的神经网络设计铺平了道路。

    Jan, 2024

  • 基于深度卷积神经场的单张图像深度估计

    本文提出了一种在单个图像中利用深度卷积神经网络和连续条件随机场进行深度估计的方法，通过结构化学习方案统一学习了连续 CRF 的一元和二元潜力，并通过实验证明了其在室内和户外场景数据集上优于现有深度估计方法。

    Nov, 2014

  • 深度连续网络

    深度连续网络（DCNs）结合了空间连续滤波器和神经 ODE 的连续深度框架，能够学习滤波器的空间支持以及特征图的持续演化，与生物模型密切相关。DCNs 在标准图像分类和重构问题中具有多功能且广泛适用，可以提高参数和数据效率，并允许元参数化。我们展示了 DCNs 学习的尺度分布的生物合理性，并研究了它们在神经科学启发的模式补全任务中的性能。最后，我们通过改变输入对比度来实现 DCN 的高效实现。

    Feb, 2024

  • 使用深度卷积神经场从单目图像中学习深度

    本文提出了一种使用卷积神经网络和条件随机场的深度学习模型，针对单目图像的深度估计问题，其中结构化的学习框架学习连续 CRF 的一元和二元势函数；基于全卷积网络和新的超像素池化方法，提出了一种更有效的模型，在室内外场景数据集上表现优于现有的深度估计方法。

    Feb, 2015

  • 卷积神经网络神经元的感受野、有效感受野和投影野是什么？

    本文详细介绍了如何计算卷积神经网络（CNN）的不同层级的神经元的感受野、有效感受野和投影野。这些重要概念不仅有助于更好地理解和分析卷积和反卷积网络，还有助于优化它们在实际应用中的性能。

    May, 2017

  • 大规模图像识别的极深卷积网络

    本文通过使用小的卷积滤波器的架构，对不断增加深度的网络的精度进行了全面评估，表明通过将深度推到 16 至 19 个权重层，可以显著提高以往技术水平，并在 ImageNet Challenge 2014 中获得了第一和第二名。我们还证明了该表示法在其他数据集上具有很好的泛化性能，并公开了我们表现最佳的两个 ConvNet 模型，以便进一步研究深度视觉表示在计算机视觉中的应用。

    Sep, 2014

  • 图像恢复的多层小波 - CNN

    本文提出了一种新的多层小波卷积神经网络（MWCNN）模型来更好地平衡感受野大小和计算效率，通过引入小波变换来减小收缩子网络中特征映射的大小并降低通道数，再使用反向小波变换来重建高分辨率特征映射，该模型可应用于许多图像修复任务，实验结果表明其有效性。

    May, 2018