Sep, 2019

使用张量分解加速训练

PDF
TL;DR本文提出一种使用张量分解减少模型训练时间的方法，通过在原始架构下训练模型一小段时间后对其进行分解，在没有准确度损失或仅有 1.5％的准确度降低的同时训练速度提高了最多 2 倍，而且在 CPU 和 GPU 平台上均可使用。
tensor decompositiontraining timepre-trained modellatency timearchitecture
发现论文，激发创造
  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • Mixed-TD：具有层特定张量分解的高效神经网络加速器

    本文提出了一种基于混合张量分解方法 (Mixed-TD) 将卷积神经网络 (CNN) 映射到 FPGA 上的框架，该方法采用了层特定的奇异值分解 (SVD) 和标准分解 (CPD)，每个 DSP 可以实现与最先进的 CNN 的 1.73x 至 10.29x 的吞吐量。

    Jun, 2023

  • 通过层级目标低秩分解加速 Resnet 架构

    通过使用低秩分解在网络层上应用压缩，本研究旨在研究压缩神经网络以提高训练和推理速度。我们的研究证明，为了加速，压缩方法应该考虑底层硬件，并进行分析以选择要压缩的层。通过对 ResNet50 的压缩和在全图像数据集 ImageNet-ILSVRC2012 上的训练的案例研究，我们展示了我们的方法的优势。我们在两个不同的硬件系统 Nvidia V100 和 Huawei Ascend910 上进行了测试。通过针对硬件进行压缩，Ascend910 上的训练加速度为 5.36%，Ascend310 上的推理速度为 15.79%，与原始未压缩模型相比仅有 1% 的精度下降。

    Sep, 2023

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021

  • HEAT: Transformer 压缩的硬件高效自动张量分解

    本文提出了 HEAT 硬件感知张量分解框架，通过硬件感知的协同优化，实现了对参数冗余的降维和的自动调节，能够达到更好的能效比和精度。

    Nov, 2022

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 使用顺序冻结和秩量化加速低秩分解网络的训练

    通过优化秩和顺序冻结分解层，本文提出的两种技术能够在保持准确度不变的前提下，提高模型的训练和推理速度达到 60% 和 37%。

    Sep, 2023

  • 通过深度张量分解实现卷积神经网络的端到端学习

    本文研究了通过 Deep Tensor Decomposition 算法来学习深度卷积神经网络，理论上可以在样本数大于网络中总卷积权重数时提高数据利用效率并验证了实际有效性和理论结果。

    May, 2018

  • TEN-GUARD: 张量分解用于深度神经网络中的后门攻击检测

    这篇论文介绍了一种新的后门检测方法，它使用了两种张量分解方法应用于网络激活，相对于现有的检测方法具有多种优势，包括能够同时分析多个模型，适用于各种网络架构，对于改变网络行为的触发器不做任何假设，并且计算效率高。在 MNIST 手写数字数据集、CIFAR-10 数据集以及 NIST 的 TrojAI 比赛中的两个难数据集上，我们提供了检测流程的详细描述和结果。这些结果表明，相对于当前最先进的方法，我们的方法更准确、更高效地检测到了植入后门的网络。

    Jan, 2024