Apr, 2023

卷积神经网络的先验压缩在波模拟器中的应用

PDF
TL;DR本文提出使用压缩张量格式的卷积层、使用单向滤波器替代卷积层的三向 / 二向滤波器等方式压缩卷积神经网络模型，减少参数数量，从而降低内存占用，在预测时间和训练时间上表现良好。同时，文章将此技术应用于预测有限元物理数据。
convolutional neural networkscompression techniquestensor formatoverfittingfinite element
发现论文，激发创造
  • 卷积神经网络压缩在自然语言处理中的应用

    本文提出了一种对情感分析中高效的卷积神经网络进行压缩的方法，该方法包含量化和修剪过程，并展示了将压缩后的网络映射到 FPGA 的方法及其实现结果，实验表明实现 5 位宽度即可达到与浮点数相近的精度且达到了较大的内存占用空间减少（从 85% 到 93%）。

    May, 2018

  • 终极张量化：压缩卷积层和全连接层

    本文提出了一种基于张量分解的卷积层参数压缩方法，并将其与之前提出的压缩全连接层的方法结合，成功实现了在 CIFAR-10 数据集上 80 倍的网络压缩和 1.1% 的精度损失。

    Nov, 2016

  • 学习卷积神经网络压缩的滤波器基础

    本论文提出基于卷积层中滤波器基的卷积神经网络参数数量缩减的方法，通过在多个 CNN 架构上对图像分类和图像超分辨率基准进行实验，结果表明该方法在减少参数和保持精确度方面优于现有技术。

    Aug, 2019

  • 卷积模型的张量网络可压缩性

    卷积神经网络（CNN）是最广泛使用的神经网络架构之一，在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性，本文通过评估截断密集（未进行张量化）CNN 的卷积核对其准确性的影响来探索这一问题，并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。

    Mar, 2024

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 卷积神经网络结构压缩的分类与评估

    简介神经网络压缩，分类不同压缩方法，探讨张量分解和概率压缩等技术，研究证明 SVD 和概率压缩或修剪方法最优。

    Dec, 2019

  • 卷积神经网络的结构压缩

    本文介绍了一种基于剪枝策略的 CNN 结构压缩方法 CAR。CAR 通过去除对分类精度影响最小的滤波器实现了近似原始分类精度的同时，保留了原始网络中有代表性的滤波器。压缩后的网络更容易理解，因为具有更少的滤波器数目。此外，作者还提出了一种变种算法来量化每个图像类别对每个 CNN 滤波器的重要性，最和次重要的分类标签被证明是每个滤波器的有意义的解释。

    May, 2017

  • 复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

    本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

    Aug, 2022

  • 卷积神经网络的简约推断：学习并应用在线内核激活规则

    本文提出了一种新的 CNN 设计方法，旨在通过对 CNN 架构和训练过程的综合干预来减少总推理计算量，通过引入一种新的结构元素作为附加组件到任何现代 CNN 架构中，系统地提出了一种数据驱动的开发 CNN 的公式，旨在实时改变大小和形式，从而使计算占用更小。最佳实现的结果表明了在几个现代高端移动计算平台上的显著加速。

    Jan, 2017

  • 通过压缩解释卷积神经网络

    本文探讨了压缩和特别是修剪滤波器在解释卷积神经网络中的作用，并通过 CAR 压缩算法，演示了修剪具有视觉冗余模式选择性的滤波器的可解释性。作者比较了 AlexNet 的前 20 个 CAR 修剪滤波器的颜色选择性和形状选择性，并引入了一个量化每个图像类对 CNN 滤波器的重要性的 CAR 重要性指数，最后发现对每个 CNN 滤波器最重要和不重要的类标签提供了与该滤波器的可视化模式选择性一致的有意义的解释。

    Nov, 2017