Apr, 2024

深度学习中小卷积核的高效高阶卷积

PDF
TL;DR通过提出一种新的方法来实现低内存和计算成本的高阶 Volterra 滤波，在 DCNN 训练的前向和反向传播过程中具有计算优势，并基于该方法提出了一种名为 Higher-order Local Attention Block（HLA）的新型注意力模块，并在 CIFAR-100 数据集上进行了测试，显示了在分类任务中的有竞争力的改进。
deep convolutional neural networksdcnnsvolterra filteringcomputational costsattention module
发现论文，激发创造
  • 基于 CNN 学习的非线性卷积滤波器

    研究表明，在计算模型的视觉皮层中开发基于 Volterra 核的二阶卷积方法，可以增加卷积层的表达能力，在 CIFAR-10 和 CIFAR-100 数据集上，使用线性和非线性滤波器相结合的卷积网络可以超越使用相同体系结构的标准线性滤波器的网络的性能，取得与最先进水平相当的结果。

    Aug, 2017

  • 深度卷积网络是层次化的核机器

    该论文讨论了 i-theory 中典型层次结构的构成，提出现代 DCNs 可以与具有池化和非池化层次的核机器的层级架构完全等效，最终提出高效的结构猜想。

    Aug, 2015

  • 双卷积神经网络

    本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

    Oct, 2016

  • Volterra 神经网络 (VNNs)

    为了降低卷积神经网络的复杂性，该论文提出了一个基于 Volterra 滤波器的神经网络架构，通过受控非线性相互作用的形式引入延迟输入样本之间的交互。通过在视频序列上联合熔合空间信息和时间信息进行动作识别，证明了该方法在 UCF-101 和 HMDB-51 数据集上胜过 CNN 等其他方法。

    Oct, 2019

  • 二阶卷积神经网络

    本文提出一种新颖的卷积神经网络（CNN）类，它利用二阶统计量，可以形成协方差描述符单元（CDU），可以替代标准 CNN 的全连接层，并在参数少至 90％的情况下优于一阶 CNN。

    Mar, 2017

  • Kervolution 神经网络

    本文介绍了一种新的 kervolution 运算，该方法可以在非线性空间内运行，扩展了卷积神经网络的模型容量，捕捉更高阶的特征交互，并通过基于补丁的核函数实现，而不引入额外参数。大量实验表明， kervolutional neural networks (KNN) 比基线卷积神经网络具有更高的准确性和更快的收敛速度。

    Apr, 2019

  • 理解深度卷积网络

    这篇文章综述了深度卷积神经网络的架构，介绍了一种数学框架来分析它们的属性，以及讨论了它们的应用。

    Jan, 2016

  • 动态卷积：卷积核的注意力机制

    提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

    Dec, 2019

  • 基于分解的高阶 CNNs 及其在时空情绪估计中的应用

    本文提出了一种基于张量分解的高效多维（可分离）卷积框架，为训练深度卷积神经网络提供了新的思路。该方法可以应用于脸部情感分析，将静态图像的分类结果应用于动态视频图像，取得了优秀的分类性能。

    Jun, 2019

  • 深度卷积神经网络分析的改进

    本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

    Apr, 2016