Aug, 2023

Maestro: 通过可训练分解揭示低秩结构

PDF
TL;DR设计高效的低秩模型，通过一种广义的 Ordered Dropout 方法将低秩结构内嵌到训练过程中，实现对深度神经网络进行可训练的低秩层插入，从而提取出足够小的模型，保持模型性能并允许在不同性能设备上进行准确性和延迟的权衡。
deep neural networkslarge modelscompression techniqueslow-rank modelsmaestro
发现论文，激发创造
  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020

  • 可分解网络：神经网络可扩展低秩压缩

    本文介绍了一种名为 Decomposable-Net 的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。

    Oct, 2019

  • 通过线性层组合的低秩引导训练实现结构保留的网络压缩

    本研究论文介绍了一种名为低秩引导训练（LoRITa）的压缩技术，通过组合线性层和使用奇异值截断来促进低秩性，并且在推理时无需改变结构或进行额外的优化，通过实验证明了其有效性，并与其他主流结构剪枝方法相比在 FLOPs 和参数减少方面取得了竞争性或 SOTA 结果。

    May, 2024

  • 卷积神经网络参数的动态等级剪枝压缩

    通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

    Jan, 2024

  • 高效深度神经网络的训练排名剪枝

    本文提出了一种名为 TRP 的低秩逼近和正则化相结合的训练方法，用于在边缘设备上进行深度神经网络的图像分类任务，并在 CIFAR-10 和 ImageNet 数据集上进行了广泛评估，结果表明相比于之前的低秩逼近压缩方法取得了更好的性能。

    Dec, 2018

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • 通过潜空间分解进行复合形状建模

    本文提出了一种名为 Decomposer-Composer 的新型神经网络结构，用于基于语义结构的 3D 形状建模，采用自编码器技术，在嵌入空间上进行分解 - 合成操作，并通过引入显式的学习部分变形模块，使得该网络能够实现部件级的形状操作，具有较高的性能表现。

    Jan, 2019

  • 领域自适应的深度网络压缩

    本文研究深度神经网络在领域迁移后的压缩问题，提出一种基于低秩矩阵分解的压缩算法，结合目标域的激活统计信息，在不降低模型性能的情况下将模型参数量压缩至传统技术的 5-20%。

    Sep, 2017

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 使用 PCA 的低投入结构化 CNN 设计方法

    该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。

    Dec, 2018