Mar, 2022

使用 Tucker 分解压缩视频中的 CNN 内核：走向轻量级 CNN 应用

PDF
TL;DR该研究使用 Tucker 分解对预训练卷积网络的卷积核进行压缩，以在移动设备上应用于视频数据并降低网络复杂度，在 THETIS 数据集上进行测试，结果表明比较相似的准确度，但相对于内存压缩的因子高达 51 倍，而实际计算速度提升却不足预期
convolutional neural networksflopstucker-decompositionvideo datacomputational power
发现论文，激发创造
  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 三维医学图像分割的训练后网络压缩：通过 Tucker 分解减少计算工作量

    通过张量分解研究网络压缩的有效性，我们提出了一种后训练 Tucker 分解方法，以减少预先存在模型的计算要求，而不会影响分割准确性。这种方法能够在计算效率和分割质量之间提供可调节的权衡，并且适用于医学图像分割模型的计算需求降低。

    Apr, 2024

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 使用张量幂法进行 CP 分解压缩卷积神经网络

    基于张量分解和张量幂法的卷积神经网络压缩方法及迭代微调优化策略实现了较高的压缩比和减少了内存和计算成本，相比现有工作在不丢失精度的情况下实现了显著的优化。

    Jan, 2017

  • 卷积模型的张量网络可压缩性

    卷积神经网络（CNN）是最广泛使用的神经网络架构之一，在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性，本文通过评估截断密集（未进行张量化）CNN 的卷积核对其准确性的影响来探索这一问题，并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。

    Mar, 2024

  • 基于滤波器组逼近的极端网络压缩

    该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量（FLOPs），并减少精度损失，另外，实验证明我们的方法有助于缓解压缩网络的退化现象，从而提高网络的收敛性和性能。

    Jul, 2018

  • 终极张量化：压缩卷积层和全连接层

    本文提出了一种基于张量分解的卷积层参数压缩方法，并将其与之前提出的压缩全连接层的方法结合，成功实现了在 CIFAR-10 数据集上 80 倍的网络压缩和 1.1% 的精度损失。

    Nov, 2016

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • 卷积神经网络压缩的稳定低秩张量分解

    本研究是对卷积核张量分解退化性的第一项研究。我们提出了一种新方法，可以稳定卷积核的低秩近似，同时保证神经网络的高性能。在流行的 CNN 体系结构上评估我们的方法并显示它提供一致性的性能。

    Aug, 2020

  • 利用简化 CNN 对视频编码中的非局部冗余进行提升

    该研究旨在利用卷积神经网络及非局部冗余优化视频压缩，达到与预处理去噪 CNN 类似的编码增益，同时只需要约为 1% 的计算复杂度，适用于资源受限的条件下进行视频压缩。

    Oct, 2019