动态区域感知卷积
提出一种名为 Dynamic Convolution 的新设计,基于卷积核的注意力动态地聚合多个并行卷积核,从而增加模型复杂度,提高卷积神经网络的表示能力,有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。
Dec, 2019
本文提出了一种基于条件输入图像的动态卷积方法,其中通过引入一个小型门控分支来学习空间位置,以决定应该对哪些区域进行评估,通过在 CIFAR、ImageNet 和 MPII 数据集上的实验证明该方法在处理人体姿态估计等空间稀疏任务方面,相对已有方法具有更好的准确性和处理效率。
Dec, 2019
本文研究了如何提高卷积神经网络的效率,提出了一种基于动态卷积方法的新型卷积操作,在多种 CNN 结构上进行了测试,并表明该方法可以在减少计算开销的同时保持性能,从而达到了更高的效率。
Apr, 2020
该论文提出一种更加通用而优雅的动态卷积设计,Omni-dimensional Dynamic Convolution (ODConv),通过多维度的注意力机制与并行策略学习卷积核在四个维度上的补充注意力,以提高各种流行的 CNN 主干网络的准确性,且可通过将其插入到现有 CNN 架构中来使用,实验证明与多个动态卷积方法相比,ODConv 甚至只需一组卷积核就能显著提高准确率。
Sep, 2022
本文提出了一种新框架 Sparse Dynamic Convolution(SD-Conv),它将动态卷积和不规则剪枝结合起来,通过使用可学习阈值导出二值化掩码以减少参数和计算成本,在 Imagenet-1K 数据集上获得更高的性能,并在多个下游任务中展示出优于基线的表现,从而成为常规动态卷积的高效替代品。
Apr, 2022
本文提出一种动态组卷积 (Dynamic Group Convolution, DGC) 方法,它不仅保留了原有网络结构,还能够根据输入图像动态选择连接哪些输入通道,以实现对图像语义特征的自适应提取,有效提高了卷积神经网络的计算效率和图像分类性能。
Jul, 2020
介绍一种新的动态滤波网络架构,使得学习的滤波器可以根据输入动态生成,具有高度适应性,且不会过多增加模型参数。通过可视化学习到的滤波器,证明该网络可以在无标签数据上学习信息,从而可以用于各种无监督预训练任务,例如光流和深度估计。
May, 2016
提出使用动态区域感知图卷积神经网络(DRAG)来自适应性地识别可能泄露隐私的图像,以解决社交媒体分享图像所带来的隐私泄露问题,其准确性高于现有技术,可以找出包含对象、纹理等重要元素的关键区域。
Mar, 2022
提出了一种 Decoupled Dynamic Filter(DDF)卷积方法,可以同时解决标准卷积的两个主要缺点:内容不适配和计算量大。DDF 将深度动态滤波器分解为空间动态滤波器和通道动态滤波器,大大减少了参数数量,并将计算成本限制在与深度卷积相同的水平上。在分类网络中,使用 DDF 替换标准卷积可以显著提高性能,同时其计算成本几乎减半。在检测和联合上采样网络上进行的实验也证明了 DDF-upsampling 变体在比标准卷积和专门的内容自适应层更优秀的性能。
Apr, 2021