更复杂的网络,更少的推理复杂度
本文提出了一种名为 CLC 的广义卷积操作,即使用输入通道的子集来计算输出通道,该操作包括深度卷积和分组卷积,这可以用于构建新的卷积块 CLC Block,从而建立更高效的 CNN 模型 clcNet,并在 ImageNet-1K 数据集上进行测试。
Dec, 2017
本文介绍了一种基于 MKLDNN 加速策略的轻量级 CPU 网络 PP-LCNet,这种网络在多项任务上得到了改进。通过技术上的提升,PP-LCNet 在分类任务中的准确性大大优于之前的网络结构,并在计算机视觉的下游任务中表现出色。该研究使用的所有实验都是基于 PaddlePaddle 实现的,并提供相应的代码和预训练模型。
Sep, 2021
提出了一种全动态模型的方法,称为 LC-Net,旨在最大化深度卷积神经网络的计算效率和任务准确性,通过以层和卷积滤波通道为单位的层次推理动力学,能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。
Jul, 2020
本研究提出了一种快速、紧凑且准确的卷积神经网络模型 LCNN,能够在资源受限的平台上实现高效的学习和推断,在 ImageNet 数据集上取得了较好的速度和精度表现,并展示了其在深度学习模型的设备端训练中的优势。
Nov, 2016
本研究使用深度协同学习(DCL)方法,将卷积层分解成两个小的卷积层,然后将它们在每个空间位置处融合,以减少计算复杂度和模型复杂度,同时提高在各种视觉识别任务中的准确性,减少模型参数 (在 AlexNet 中减少 16.82%)。
Mar, 2017
我们通过重新组织操作,将传统的一层一层的数据流规则打破,设计了一种轻量级架构,能够在不影响准确性的情况下移除大部分中间数据,有效降低内存消耗。我们特别研究了两个连续行之间的较弱依赖关系,提出了两种解决方案,并通过评估验证了其有效性。我们还验证了我们的中间数据流优化可以顺利结合现有工作以获得更好的内存减少效果。
Jan, 2024
通过深度层级级联方法(LC)对模型级联(MC)进行改进,加速和提高语义分割的计算效果。在 PASCAL VOC 数据集上取得了最先进的性能和快速速度。
Apr, 2017
本文提出了一种简单而有效的框架,将现代卷积神经网络 (CNNs) 与全连接 (FC) 层相结合,展示了这种架构变化在小数据区间的巨大影响。另外,还提出了一种在线联合知识蒸馏方法,以利用额外的 FC 层来提高 CNN 模型的泛化能力,并在测试时避免了它们。我们在超级学习和主动学习的几个标准数据集上进行了分类实验,实验结果明显优于没有全连接层的网络,在有监督设置下准确率最高可达到 16%。
Oct, 2022
本文提出了一种新的 CNN 设计方法,旨在通过对 CNN 架构和训练过程的综合干预来减少总推理计算量,通过引入一种新的结构元素作为附加组件到任何现代 CNN 架构中,系统地提出了一种数据驱动的开发 CNN 的公式,旨在实时改变大小和形式,从而使计算占用更小。最佳实现的结果表明了在几个现代高端移动计算平台上的显著加速。
Jan, 2017