动态功能连接:基于随机卷积而不学习的不再滑动窗口
本文提出了一种基于条件输入图像的动态卷积方法,其中通过引入一个小型门控分支来学习空间位置,以决定应该对哪些区域进行评估,通过在 CIFAR、ImageNet 和 MPII 数据集上的实验证明该方法在处理人体姿态估计等空间稀疏任务方面,相对已有方法具有更好的准确性和处理效率。
Dec, 2019
介绍一种新的动态滤波网络架构,使得学习的滤波器可以根据输入动态生成,具有高度适应性,且不会过多增加模型参数。通过可视化学习到的滤波器,证明该网络可以在无标签数据上学习信息,从而可以用于各种无监督预训练任务,例如光流和深度估计。
May, 2016
提出了一种名为 DRConv 的动态区域感知卷积,它可以自动将多个过滤器分配给具有相似表示的相应空间区域,以更有效处理复杂和不同的空间信息分布,从而代替任何现有网络中的标准卷积,尤其适用于高效网络中的动力卷积层。在 ImageNet 分类中,DRConv-based ShuffleNetV2-0.5x 在 46M 乘积添加水平下实现了 67.1% 的最新性能,相对改进了 6.3%。
Mar, 2020
本文提出了一种新颖的动态频域图卷积网络 (DFDGCN),用于捕捉交通数据中的空间依赖性,通过傅里叶变换来缓解时间偏移的影响,结合静态预定义和自适应图,通过经典因果卷积预测未来的交通数据。经过四个真实世界数据集的广泛实验证明,我们的模型具有有效性,并且优于基准模型。
Dec, 2023
提出一种名为 Dynamic Convolution 的新设计,基于卷积核的注意力动态地聚合多个并行卷积核,从而增加模型复杂度,提高卷积神经网络的表示能力,有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。
Dec, 2019
本文提出一种动态组卷积 (Dynamic Group Convolution, DGC) 方法,它不仅保留了原有网络结构,还能够根据输入图像动态选择连接哪些输入通道,以实现对图像语义特征的自适应提取,有效提高了卷积神经网络的计算效率和图像分类性能。
Jul, 2020
本研究提出了一种用于改善高频和多尺度特征学习的动态卷积算法,其中采用了增强空间上下文信息的核生成模块 (SEKG) 以及动态卷积块 (DCB) 和多尺度动态卷积块 (MDCB)。此外,还提出了多维特征集成 (MFI) 机制,旨在融合多尺度特征,从而提供具有精确性和丰富上下文特征的表征。最终,使用所提出的算法构建的 ADFNet 在真实世界和合成高斯噪声数据集上取得了更好的性能,且具有较低的计算复杂度。
Nov, 2022
该研究提出了一种名为 Dynamic Temporal Filter (DTF) 的方法,能够在频率域进行空间感知的时间建模,并具有较大的时间感受野,可将 DTF 模块嵌入 ConvNets 和 Transformer 中,实验结果表明其优越性。
Nov, 2022
本文提出了一种新框架 Sparse Dynamic Convolution(SD-Conv),它将动态卷积和不规则剪枝结合起来,通过使用可学习阈值导出二值化掩码以减少参数和计算成本,在 Imagenet-1K 数据集上获得更高的性能,并在多个下游任务中展示出优于基线的表现,从而成为常规动态卷积的高效替代品。
Apr, 2022
文章介绍了一种基于矩阵分解的新视角来重新考虑动态卷积的局限性,提出一种动态通道融合的方法来替代对通道组进行动态关注以解决优化问题,并降低了潜在空间的维数,从而减少了参数数量并且不影响准确性。
Mar, 2021