Apr, 2019

CondConv: 有条件的卷积神经网络以提高推理效率

PDF
TL;DR本研究介绍了有条件参数卷积（CondConv）的概念，通过为每个示例学习专用的卷积核，增加了神经网络的规模和容量，同时保持了有效推理，并在图像分类任务上展示了其在现有基于卷积神经网络的体系结构上的性能和推理成本的平衡。
convolutional layersconditionally parameterized convolutionsefficientnet-b0neural network architecturesimage classification
发现论文，激发创造
  • CondenseNet：使用学习群卷积的高效 DenseNet

    本文介绍了一种名为 CondenseNet 的新型神经网络体系结构，其使用学习组卷积方法实现了稠密连接，移除了那些无用的连接，并使得此模型比类似 MobileNets 和 ShuffleNets 的最先进紧凑卷积网络更为高效。

    Nov, 2017

  • 条件卷积用于实例分割

    提出了一种简单而有效的实例分割框架 CondInst，通过动态实例感知网络来解决实例分割问题，不需要使用 ROI 操作，而是采用条件卷积，与一些最新的方法相比，在 COCO 数据集上取得了更好的性能和推理速度。

    Mar, 2020

  • 具有条件卷积层的 cGANs

    本文提出了一种称为条件卷积层的卷积神经网络方法，该方法通过不同的权重生成不同的特征图，并通过简单而有效的方法进行条件调整，从而可以更有效地处理条件特征，金实验结果表明，使用提出的条件卷积层的生成模型可以比使用标准卷积层更好地生成类别相关的图像。

    Jun, 2019

  • SD-Conv： 动态卷积的参数效率

    本文提出了一种新框架 Sparse Dynamic Convolution（SD-Conv），它将动态卷积和不规则剪枝结合起来，通过使用可学习阈值导出二值化掩码以减少参数和计算成本，在 Imagenet-1K 数据集上获得更高的性能，并在多个下游任务中展示出优于基线的表现，从而成为常规动态卷积的高效替代品。

    Apr, 2022

  • 使用条件卷积进行实例和全景分割

    提出了一种新的实例和全景分割框架：CondInst。与传统的 ROI 操作相比，CondInst 利用动态条件卷积设计动态实例感知掩模头，使得实例和全景分割统一成了一个完全卷积的网络，并且提高了推理速度与实例掩码的分辨率。

    Feb, 2021

  • FlexConv：可微卷积，连续改变核大小

    该论文提出了一种名为 FlexConv 的新型卷积操作，可以在学习可学习核大小的高带宽卷积核时以固定的参数成本来建模长期依赖性，提高分类准确性。

    Oct, 2021

  • DyNet: 动态卷积加速卷积神经网络

    本文研究了如何提高卷积神经网络的效率，提出了一种基于动态卷积方法的新型卷积操作，在多种 CNN 结构上进行了测试，并表明该方法可以在减少计算开销的同时保持性能，从而达到了更高的效率。

    Apr, 2020

  • RefConv：具有强大 ConvNets 的重新参数化对焦卷积

    通过在预训练模型中应用可训练的 Refocusing Transformation 以建立参数之间的联系，并且以此来增强预训练模型的表征能力，RefConv 可以在图像分类、目标检测和语义分割等任务中改进多个基于 CNN 的模型而不引入额外的推理成本或更改原始模型结构。

    Oct, 2023

  • 深度炸神经网络

    本文介绍了使用单个 Fastfood 层代替卷积神经网络中的所有全连接层，并将其与卷积层结合成新的架构，名为深度炸炸卷积网络，从而大幅减少 MNIST 和 ImageNet 训练的卷积网络的内存占用并保持预测性能不变。

    Dec, 2014

  • HetConv: 基于异构内核的卷积神经网络

    通过使用异构卷积内核，我们提出了一种新颖的深度学习架构，在减少计算量和参数数量的同时保持代表性效率，实现了在 VGG 和 ResNet 等 CNN 架构中 3 到 8 倍 FLOPs 的速度提升，并与组 / 深度卷积进行比较，证明其具有更高的准确性和更多的 FLOPs 减少。

    Mar, 2019