May, 2022

STN: 通过结构感知训练和自适应压缩实现可扩展的张量网络

PDF
TL;DR本文提出了适用于任意网络架构的可扩展张量网络（STN），通过一种数据驱动的方法动态和自适应地调整模型大小和分解结构，从而达到更高的压缩性能和灵活性，综合实验结果表明其在参数效率方面表现优异。
deep neural networkstensor decompositionscalable tensorizing networkscompressionparameter efficiency
发现论文，激发创造
  • 张量神经网络：神经网络的泛化和模型压缩应用

    该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

    May, 2018

  • SVDinsTN：一种结合有效结构搜索的张量网络表示综合方法

    SVDinsTN 是一种高效的张量网络结构搜索方法，通过为每个边插入对角线因子，同时计算张量网络核和对角线因子，实现了对结构的高效评估，大幅提升了数据分析和机器学习的效率并保持了良好的代表性能。

    May, 2023

  • STN：一种新的张量网络方法，用于从大脑活动模式中识别刺激类别

    提出了一种刺激约束的张量脑模型，将张量分解模型与刺激类别约束信息相结合，用于解码带有语义信息的目标刺激，实验结果表明该模型相对于其他方法提高了 11.06％到 18.46％的准确性。

    Oct, 2022

  • 通过张量网络将神经网络压缩为指数少的变分参数

    本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

    May, 2023

  • 可分解网络：神经网络可扩展低秩压缩

    本文介绍了一种名为 Decomposable-Net 的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。

    Oct, 2019

  • 层叠张量神经网络在参数化偏微分方程的简化建模中的应用

    张量神经网络 (TNNs) 结合了多线性代数和深度学习的成果，能够实现高维问题的高效降维模型。本文描述了一种将多个 TNNs 融合成一个更大网络的深度神经网络架构，旨在解决比单个 TNN 更广泛的问题类别。作者在具有三个独立变量和三个参数的参数型 PDE 上评估了该架构，其中三个参数分别对应一个 PDE 系数和描述域几何的两个量。STNN 在参数范围内提供了准确的降维解描述，并显示出对训练数据之外的参数值有意义的泛化证据。最后，尽管 STNN 架构相对简单且不依赖具体问题，但它可通过正则化来融合特定问题的特征，如对称性和物理建模假设。

    Dec, 2023

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021

  • 卷积神经网络结构压缩的分类与评估

    简介神经网络压缩，分类不同压缩方法，探讨张量分解和概率压缩等技术，研究证明 SVD 和概率压缩或修剪方法最优。

    Dec, 2019

  • ADA-Tucker：透过自适应维度调节 Tucker 分解压缩深度神经网络

    本文提出一种自适应的维度调整 Tucker 分解网络压缩方法（ADA-Tucker）和其扩展模型 Shared Core ADA-Tucker（SCADA-Tucker），通过学习的核心张量和转换矩阵，实现对高维张量的分解，以及在无需记录非零元素索引的情况下，使 LeNet-5 和 LeNet-300 的存储分别降低了 691 倍和 233 倍，进一步在其他三个基准测试（CIFAR-10，SVHN，ILSVRC12）和现代深度网络（ResNet，Wide-ResNet）上获得了良好的效果。

    Jun, 2019