在边缘设备上优化分组卷积
本文提出一种动态组卷积 (Dynamic Group Convolution, DGC) 方法,它不仅保留了原有网络结构,还能够根据输入图像动态选择连接哪些输入通道,以实现对图像语义特征的自适应提取,有效提高了卷积神经网络的计算效率和图像分类性能。
Jul, 2020
通过空间分组卷积(SGC)来加速 3D 密集预测任务的计算。SGC 是一种与组卷积正交的方法,它作用于空间维度而不是特征通道维度。它将输入体素划分为不同的组,然后在这些分离的组上进行 3D 稀疏卷积。在进行卷积时,只有有效的体素被考虑到,因此可以大大减少计算量并略微降低精度。我们将所提出的操作用于语义场景完成任务,该任务旨在从单个深度图像中预测具有语义标签的完整 3D 体积。基于 SGC,我们进一步提出了一种高效的 3D 稀疏卷积网络,它利用了多尺度架构和粗到精的预测策略。在 SUNCG 数据集上进行了评估,并实现了最先进的性能和快速速度。我们的代码可在 https URL 上获得。
Jul, 2019
本文提出了一种完全可学习的分组卷积模块 (FLGC),可嵌入到任何深度神经网络中加速处理,其自动学习训练阶段中的组结构,与现有的预定义、两步或迭代策略相比具有更好的结构,并能与深度可分离卷积结合提高性能。
Mar, 2019
本文介绍了一种有效的方法来解决组卷积剪枝的挑战,即将其制定为寻找最优通道置换以施加结构约束并通过启发式方法高效地解决。同时,本方法还应用启发式方法来探索基于估算的剪枝成本的分组配置,以最大化测试准确性。与之前的工作相比,结果表明我们的方法在更短的剪枝时间内为各种任务生成具有竞争力的组卷积模型,并可快速探索组配置以符合推断预算约束。
Nov, 2018
通过扩展和优化快速 Winograd 级卷积算法,我们在 CPU 硬件上最大化 CPU 利用率及多核可伸缩性,处理了视频和体积图像分析中的空时特征,并证明了与之前的最先进技术相比,吞吐量提高了 5 到 25 倍。
Nov, 2016
本文提出了一种新的嵌入式计算网络设计机制,名为 VarGNet,它基于固定通道数的组卷积,使得网络更容易在硬件端进行优化,针对分类、检测、像素级解析和人脸识别等各种视觉任务的广泛实验证明了 VarGNet 的实用价值。
Jul, 2019
介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法,通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率,在实时推理中取得了显著的速度提升,没有准确性损失。
Sep, 2019
本文提出了一种称为中间光谱分组卷积(MSGC)的新模块,用于提高深度卷积神经网络(DCNNs)的效率,通过组卷积机制探索通道剪枝和传统组卷积之间的中间光谱区域,MSGC 以四个维度来探讨中间光谱,具有更强大和可解释的结构,旨在降低主网络骨架的计算成本并提高图像识别的准确性,可用于图像分类和对象检测。
Apr, 2023
本文介绍了名为交织组卷积神经网络(IGCNets)的简单和模块化神经网络架构,讨论了其在提高计算效率方面的优势,并通过对标准基准测试的实证结果证明其更有效地利用参数和计算复杂度。
Jul, 2017
本文提出了一种基于条件输入图像的动态卷积方法,其中通过引入一个小型门控分支来学习空间位置,以决定应该对哪些区域进行评估,通过在 CIFAR、ImageNet 和 MPII 数据集上的实验证明该方法在处理人体姿态估计等空间稀疏任务方面,相对已有方法具有更好的准确性和处理效率。
Dec, 2019