Sep, 2018

ProdSumNet：通过和积矩阵分解减少深度神经网络中的模型参数

PDF
TL;DR通过将线性操作分解为较简单线性操作之和的乘积，我们提出了一种可以减少深度神经网络可训练模型参数数量的通用框架，用于各类神经网络结构，并展示了基于该框架的算法在 MNIST 和 Fashion MNIST 数据集上的表现。此外，我们探究了一种新的卷积层变换方法，不再需要卷积操作，这种方法可以任意改变可训练参数数量，并通过使用该框架在 MNIST 数据集上的实验验证了可用更少的参数获得更高的准确率的优点。
deep learningtrainable parametersneural network architecturesconvolutional layermnist
发现论文，激发创造
  • 通过矩阵乘积运算符对深度神经网络进行压缩

    本研究提出了使用矩阵积算子 (MPO) 来代替线性变换表示深度神经网络的方法，该方法可以最大限度地减少可变参数数量而不影响其预测能力，并在多个典型的神经网络上证明了其有效性和高效性。

    Apr, 2019

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • 过参数化的和 - 积网络优化

    本文通过理论分析和实证实验研究深层和浅层的 sum-product 网络过度参数化对参数优化速度的影响，发现深层的 sum-product 网络相较于浅层网络具有自适应学习率和额外动量项的梯度升级方式使其具有更快的参数优化速度。

    May, 2019

  • 深度神经网络的数据无关参数剪枝

    本研究探讨在已训练的神经网络模型中修剪神经元的问题并提出了一种系统性的方式去除冗余的相似神经元，并且通过在 MNIST 训练网络中修剪密集连接层，达到 85％ 的总参数去除率，在 AlexNet 上达到 35％去除率，并且没有明显影响其性能。

    Jul, 2015

  • 通过低维度学习动力学高效压缩超参数化深度模型

    通过研究过度参数化的深度网络的学习动力学，我们揭示了各种体系结构的权重矩阵展现出低维结构，我们利用这些洞见通过减小中间层的宽度来压缩深度线性网络，实验证明这种压缩技术能够加速训练过程超过两倍，而不牺牲模型质量。

    Nov, 2023

  • 卷积神经网络参数的动态等级剪枝压缩

    通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

    Jan, 2024

  • StrassenNets：带有乘法预算的深度学习

    本研究介绍了一种使用二层求和乘积网络（SPN）的方法，通过学习从数据中的边缘权重（三元）来获得深度神经网络（DNN）层中矩阵乘法的低成本近似，同时应用知识蒸馏，实现对 DNN 中乘法操作数量的预算，从而在保持预测性能的同时，实现乘法操作数量的大幅度减少。

    Dec, 2017

  • 使用 PCA 的低投入结构化 CNN 设计方法

    该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。

    Dec, 2018

  • 使用克罗内克积压缩神经网络的全连接层

    本文介绍了一种使用 Kronecker 积在神经网络的全连接层中减少参数和计算时间的技术，该技术将全连接层替换为 Kronecker 全连接层，能够在需要较小的预测质量折衷的情况下使参数总数减少 73%。

    Jul, 2015

  • 非线性模型约简用于算子学习

    使用神经网络和核主成分分析（KPCA）结合的高效框架，扩展了基于模型简化和神经网络的 DeepONet，并展示了 KPCA-DeepONet 相对于 POD-DeepONet 的卓越性能。

    Mar, 2024