Dec, 2017

卷积神经网络中是否需要跨度调整

PDF
TL;DR该论文提供了关于现代卷积神经网络中步幅操作作用的新颖且数学严格的视角，并通过该等价性表征了步幅作为通道之间参数共享的另一种机制，从而降低了训练复杂度。
cnnsstriding operatorreceptive fieldsparameter sharingtraining complexity
发现论文，激发创造
  • 卷积神经网络中的学习步伐

    该论文介绍了 DiffStride，一种可学习个调整步幅的下采样层，在图像分类中表现出比标准下采样层更好的泛化性能和效率，并通过引入正则化项控制了网络的计算复杂度。

    Feb, 2022

  • 一种用于低分辨率图像和小物体的新卷积神经网络构建模块：不再使用步幅卷积或池化

    该研究指出，现有 CNN 结构中存在缺陷的设计，即使用了步幅卷积和 / 或池化层，导致信息丢失和功能表示效果欠佳。因此，本研究提出新的 CNN 模块 SPD-Conv，以取代现有的卷积和池化层，可应用于大多数 CNN 架构，特别是在低分辨率图像和小目标的困难任务上，我们的方法明显优于先进的深度学习模型。

    Aug, 2022

  • 使用短步长复制卷积核，实现较少独立卷积核的稀疏重建

    本文研究了使用改进的 LCA 算法的一种 DCN 类型，探讨了卷积核数量、步长、感受野大小对重建质量的影响，发现使用八个卷积核和步长为 2 的情况下可以产生与 512 个卷积核、步长为 16 的情况下相当的稀疏重建质量，此外发现在给定的步长和卷积核数量下，路径大小不显著影响重建质量。

    Jun, 2014

  • 卷积神经网络中的 DiffStride 和 Spectral Pooling 的混合

    本研究提出了一种卷积神经网络模型，通过反向传播结合频谱汇聚技术，执行学习可调步长技术的下采样，旨在保留图像中的大部分信息。与基线方法 DiffStride 相比，DiffStride 与频谱汇聚的混合方法在准确率上提高了 0.0094。

    Jan, 2024

  • 翻译不敏感 CNN

    使用高斯厄米基函数在 CNN 框架内高效逼近任意滤波器的方法，可以达到平移不变性，保持训练效率，同时实现子取样以保证平移不敏感性，为设计指导提供指导原则。

    Nov, 2019

  • CNN 中位置信息的深入研究：位置、填充和预测

    本论文研究了卷积神经网络（CNNs）中位置信息的编码方式和其对语义表征的影响，通过设计新颖的任务和语义目标测试终止边界对语义表征的影响，揭示零填充驱动 CNNs 在其内部表征中进行位置信息编码的新发现，并证明位置信息既可以帮助也可以阻碍性能。

    Jan, 2021

  • 基于 CNN 学习的非线性卷积滤波器

    研究表明，在计算模型的视觉皮层中开发基于 Volterra 核的二阶卷积方法，可以增加卷积层的表达能力，在 CIFAR-10 和 CIFAR-100 数据集上，使用线性和非线性滤波器相结合的卷积网络可以超越使用相同体系结构的标准线性滤波器的网络的性能，取得与最先进水平相当的结果。

    Aug, 2017

  • 平流增强卷积神经网络

    通过在卷积神经网络中引入对流，以及使用反应扩散神经元组件构建一个模拟反应 - 对流 - 扩散方程的高维网络，我们提出了一个物理上启发的体系结构来解决物理科学中基于时空序列的预测问题，并展示了该网络在一些时空数据集上的有效性。

    Jun, 2024

  • 线性卷积神经网络只利用最显著频率发现数据集的统计结构

    这篇文章介绍了线性卷积神经网络学习的理论，发现卷积操作会导致数据集结构和网络结构不匹配，而线性卷积神经网络则通过非线性阶段性的转变发现数据集的统计结构，这种结构不匹配是影响神经网络性能的核心问题之一，同时还解释了卷积神经网络偏向于纹理而非形状的现象。

    Mar, 2023

  • 可控制的卷积神经网络

    本文介绍了可旋转卷积神经网络，这是一种高效灵活的等变卷积网络类，利用数学理论中给出的可旋转表示类型系统，我们实现了 CIFAR 图像分类基准上最先进的结果，并展示了如何构建有效利用参数的 CNN。

    Dec, 2016