DCFNet：具有分解卷积核的深度神经网络

ICMLFeb, 2018

DCFNet：具有分解卷积核的深度神经网络

DCFNet: Deep Neural Network with Decomposed Convolutional Filters

Qiang Qiu, Xiuyuan Cheng, Robert Calderbank, Guillermo Sapiro

TL;DR本文提出了基于截断展开的分解卷积滤波器（DCFNet）神经网络，使用预设基进行卷积滤波器的分解，通过扩展系数的学习来减少可以训练的参数和计算量，并通过基截断来加强滤波器的规律性。实验证明，DCFNet 可以在减少模型参数的同时，保持图像分类任务的准确性，尤其是在使用 Fourier-Bessel 基时效果显著，理论分析表明，DCFNet 对于输入的变化有较好的表示稳定性，并且经验观察与理论分析是一致的。

Abstract

Filters in a convolutional neural network (CNN) contain model parameters learned from enormous amounts of data. In this paper, we suggest to decompose convolutional filters in CNN as a truncated expansion with pr

convolutional neural network truncated expansion decomposed convolutional filters network fourier-bessel bases representation stability

发现论文，激发创造

RotDCF: 用于旋转等变深度网络的卷积滤波器分解

本文提出了一种名为 RotDCF 的同变卷积神经网络，通过将卷积滤波器分解成联合可旋转基，来处理图像的全局形变，在保持性能的同时，显著减少了模型大小和计算复杂度，并证明了同变表示对输入变化具有稳定性。

May, 2018

解耦动态滤波网络

提出了一种 Decoupled Dynamic Filter（DDF）卷积方法，可以同时解决标准卷积的两个主要缺点：内容不适配和计算量大。DDF 将深度动态滤波器分解为空间动态滤波器和通道动态滤波器，大大减少了参数数量，并将计算成本限制在与深度卷积相同的水平上。在分类网络中，使用 DDF 替换标准卷积可以显著提高性能，同时其计算成本几乎减半。在检测和联合上采样网络上进行的实验也证明了 DDF-upsampling 变体在比标准卷积和专门的内容自适应层更优秀的性能。

Apr, 2021

基于卷积滤波器分解的尺度 - 平移等变网络

本文提出一种基于 ST 等变卷积神经网络的多尺度图像分类方法，通过卷积滤波器的低频分解和截断，实现了更好的变形鲁棒性和可解释性。数值实验表明，相比常规 CNN，该方法在多尺度图像分类任务中性能显著提高，且模型尺寸更小。

Sep, 2019

双卷积神经网络

本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

Oct, 2016

使用动态编码的滤波器融合训练紧凑型卷积神经网络进行图像分类

本文提出一种用于卷积神经网络（CNNs）模型压缩的动态编码滤波融合（DCFF）过滤剪枝方法，该方法在不依赖预训练模型或加入稀疏约束的情况下，通过为筛选滤波器分配相应的代理器，利用 KL 散度评估滤波器重要性，再通过滤波器融合实现模型压缩，成功在多个分类基准测试中进行了验证。

Jul, 2021

压缩卷积神经网络

本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

Jun, 2015

深度多项式神经网络

本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网，它是多项式神经网络，通过具有共享因子的张量集合分解来估计自然表示的未知参数，可用于许多任务和信号的表达建模，并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实现了最新的结果。

Jun, 2020

基于滤波器组逼近的极端网络压缩

该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量（FLOPs），并减少精度损失，另外，实验证明我们的方法有助于缓解压缩网络的退化现象，从而提高网络的收敛性和性能。

Jul, 2018

学习卷积神经网络压缩的滤波器基础

本论文提出基于卷积层中滤波器基的卷积神经网络参数数量缩减的方法，通过在多个 CNN 架构上对图像分类和图像超分辨率基准进行实验，结果表明该方法在减少参数和保持精确度方面优于现有技术。

Aug, 2019

FSNet：基于滤波器的深度卷积神经网络压缩

提出通过权重共享的卷积核表示的新方法对深度卷积神经网络 (CNNs) 进行压缩，该方法将卷积核定位在 Filter Summary (FS) 中，每个卷积层的参数空间大大减小，且该方法可以轻松适用于权重量化。该文还提出了 Differentiable FSNet，该模型中卷积核之间的权重共享是可区分的。实验结果表明该方法在视觉任务中有效。

Feb, 2019