CVPRMar, 2019

HetConv: 基于异构内核的卷积神经网络

PDF
TL;DR通过使用异构卷积内核，我们提出了一种新颖的深度学习架构，在减少计算量和参数数量的同时保持代表性效率，实现了在 VGG 和 ResNet 等 CNN 架构中 3 到 8 倍 FLOPs 的速度提升，并与组 / 深度卷积进行比较，证明其具有更高的准确性和更多的 FLOPs 减少。
deep learningconvolutionheterogeneous kernelsflopsneural networks
发现论文，激发创造
  • 异构网格卷积：适应性、高效性和可控计算

    通过生成一种数据自适应的图形结构并利用方向感知图形卷积，本文提出了一种新型的异构网络卷积模型，并在四个图像理解任务上进行了评估。

    Apr, 2021

  • 一种基于 FPGA 的加速器，实现对任意核大小的 CNN 的高效支持

    使用 FPGA 的推断加速器，通过优化计算数据流、降低存储需求和优化卷积神经网络的部署，实现了支持任意核大小的卷积神经网络的高效部署，从而在各种基于视觉的应用中取得了卓越的性能。

    Feb, 2024

  • DyNet: 动态卷积加速卷积神经网络

    本文研究了如何提高卷积神经网络的效率，提出了一种基于动态卷积方法的新型卷积操作，在多种 CNN 结构上进行了测试，并表明该方法可以在减少计算开销的同时保持性能，从而达到了更高的效率。

    Apr, 2020

  • 基于 SIMD 架构的高性能深度学习卷积解剖学

    本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核，该内核可在多节点下高效执行最新的图像识别任务，使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。

    Aug, 2018

  • 动态卷积：卷积核的注意力机制

    提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

    Dec, 2019

  • FlexConv：可微卷积，连续改变核大小

    该论文提出了一种名为 FlexConv 的新型卷积操作，可以在学习可学习核大小的高带宽卷积核时以固定的参数成本来建模长期依赖性，提高分类准确性。

    Oct, 2021

  • 深度学习中小卷积核的高效高阶卷积

    通过提出一种新的方法来实现低内存和计算成本的高阶 Volterra 滤波，在 DCNN 训练的前向和反向传播过程中具有计算优势，并基于该方法提出了一种名为 Higher-order Local Attention Block（HLA）的新型注意力模块，并在 CIFAR-100 数据集上进行了测试，显示了在分类任务中的有竞争力的改进。

    Apr, 2024

  • 基于 FPGA 的混合高效卷积算法的人脸识别

    本研究通过探索多种快速卷积算法，包括 Winograd 和 FFT，并发现了一种将它们应用于不同类型卷积的最佳策略；实现在基于高级综合的可配置 IP 人脸识别加速系统中使用 FaceNet，并利用并行化的优化方案在新型 CNN 体系结构上，实现比高端 NVIDIA GPU 快 3.75 倍的延迟加速，并显著超过先前的 FPGA 结果。

    Mar, 2018

  • 卷积和池化在核方法中的学习

    本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

    Nov, 2021

  • 卷积神经网络中使用局部敏感哈希进行即时复杂度降低

    通过结构化剪枝方法，利用局部敏感哈希检测通道维度的冗余来压缩潜在特征图，使用 HASTE 模块可以在不需要训练或微调的情况下，即刻降低网络的测试推理成本，有效减少近 47% 的浮点运算量而只损失 1.25% 的准确性。

    Sep, 2023