Dec, 2023

轻量级 CNNs 的统一张量视角

PDF
TL;DR通过将 3D 重塑的卷积核张量与其各种分片和秩 - 1 分解相连，连接了各种张量逼近方法和高效 CNN 模块之间的直接联系，同时发现点对点深度点（PDP）配置对于轻量级 CNN 构造是可行的，并建立了与最新的 ShiftNet 的新链接，启发了首次移位层修剪，能够以小于 1% 的精度下降实现近 50% 的压缩。
发现论文，激发创造
  • 通过深度张量分解实现卷积神经网络的端到端学习

    本文研究了通过 Deep Tensor Decomposition 算法来学习深度卷积神经网络，理论上可以在样本数大于网络中总卷积权重数时提高数据利用效率并验证了实际有效性和理论结果。

    May, 2018

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 可分离层使结构化有效线性替换成为可能

    本文表明，使用结构化线性分解替换点积卷积中的线性元素不仅更高效，而且还提供了在效率 / 准确性方面的达成帕累托最优的成果。

    Jun, 2019

  • 卷积神经网络压缩的稳定低秩张量分解

    本研究是对卷积核张量分解退化性的第一项研究。我们提出了一种新方法，可以稳定卷积核的低秩近似，同时保证神经网络的高性能。在流行的 CNN 体系结构上评估我们的方法并显示它提供一致性的性能。

    Aug, 2020

  • 卷积模型的张量网络可压缩性

    卷积神经网络（CNN）是最广泛使用的神经网络架构之一，在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性，本文通过评估截断密集（未进行张量化）CNN 的卷积核对其准确性的影响来探索这一问题，并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。

    Mar, 2024

  • 使用 Tucker 分解压缩视频中的 CNN 内核：走向轻量级 CNN 应用

    该研究使用 Tucker 分解对预训练卷积网络的卷积核进行压缩，以在移动设备上应用于视频数据并降低网络复杂度，在 THETIS 数据集上进行测试，结果表明比较相似的准确度，但相对于内存压缩的因子高达 51 倍，而实际计算速度提升却不足预期

    Mar, 2022

  • DeepShift：面向无乘法神经网络

    提出使用卷积位移和完全连接位移加速模型部署到边缘计算平台。在使用 DeepShift 模型转换和训练的预先训练的 ResNet18，ResNet50，VGG16 和 GoogleNet 模型中，可以获得接近甚至更高的准确率，并且 GPU 内核可以减少 25% 的延迟时间，具有较好的应用前景。

    May, 2019

  • ShiftCNN: 普遍的低精度卷积神经网络推理架构

    介绍了 ShiftCNN，这是一种基于 2 的 n 次幂权重表示的广义低精度卷积神经网络（CNN）推理架构，可应用于任何具有相对较小权重代码本的 CNN 架构，并且减少至少两个数量级的乘积运算，可实现的加速器有 FPGAs 或 ASICs。使用提议的量化算法，ImageNet 的广泛评估表明可以将最先进的 CNN 转换为 ShiftCNN 并且不到 1% 的准确率下降。

    Jun, 2017

  • 使用张量幂法进行 CP 分解压缩卷积神经网络

    基于张量分解和张量幂法的卷积神经网络压缩方法及迭代微调优化策略实现了较高的压缩比和减少了内存和计算成本，相比现有工作在不丢失精度的情况下实现了显著的优化。

    Jan, 2017

  • 基于分层张量分解的卷积网络分析与设计

    本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

    May, 2017