全维动态卷积
通过用一种新型卷积神经网络(CNN)来编码不变性的再生核,本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题, 其中与传统方法不同的是,我们的网络学习在训练数据上逼近核特征映射,从而带来了多个优势,包括获得具有不变性的简单神经网络体系结构,实现与更复杂CNNs相似的准确度,以及抵抗过拟合等。
Jun, 2014
提出一种名为Dynamic Convolution的新设计,基于卷积核的注意力动态地聚合多个并行卷积核,从而增加模型复杂度,提高卷积神经网络的表示能力,有效提高MobileNetV3-Small模型在ImageNet分类任务上的精度。
Dec, 2019
提出了一种名为DRConv的动态区域感知卷积,它可以自动将多个过滤器分配给具有相似表示的相应空间区域,以更有效处理复杂和不同的空间信息分布,从而代替任何现有网络中的标准卷积,尤其适用于高效网络中的动力卷积层。在ImageNet分类中,DRConv-based ShuffleNetV2-0.5x在46M乘积添加水平下实现了67.1%的最新性能,相对改进了6.3%。
Mar, 2020
本研究通过核方法的角度对卷积核网络进行了研究,发现其RKHS由补丁之间的交互项的加性模型组成,其范数通过汇聚层促进这些项之间的空间相似性,并提供了泛化界,以说明池化和补丁如何提高样本复杂度保证。
Feb, 2021
文章介绍了一种基于矩阵分解的新视角来重新考虑动态卷积的局限性,提出一种动态通道融合的方法来替代对通道组进行动态关注以解决优化问题,并降低了潜在空间的维数,从而减少了参数数量并且不影响准确性。
Mar, 2021
Malleable Convolution (MalleConv) is introduced to perform spatial-varying processing with minimal computational overhead for image denoising networks, and is shown to achieve high-quality results with minimal computational cost compared to existing denoising algorithms.
Jan, 2022
Dynamic Mobile-Former是一种集成了轻量级注意力机制和增强动态卷积优势的网络模型,通过Transformer和MobileNet的双向集成实现对全局和局部特征的处理,在图像分类、目标检测和实例分割等各个视觉任务上取得了高效且卓越的性能。
Apr, 2023
通过重新定义动态卷积中的基本概念,并采用策略性的卷积核分割和仓库共享,提出了一种更高效的动态卷积方法KernelWarehouse,实现了参数效率和表征能力的有利平衡,并通过在ImageNet和MS-COCO数据集上的实验证实了其在不同ConvNet架构上取得了最新的结果。
Aug, 2023
KernelWarehouse是一种更通用的动态卷积形式,通过在同一层及相邻层之间利用卷积参数的依赖关系重新定义了“核心”、“组装核心”和“注意函数”等基本概念,以提高动态卷积的参数效率,并在ImageNet和MS-COCO数据集上使用各种ConvNet架构测试了其有效性。KernelWarehouse还可应用于Vision Transformers,在提高模型准确性的同时减小主干模型的尺寸。
Jun, 2024