Mar, 2024

深度神经网络的 “无损” 压缩：一种高维度神经切向核方法

PDF
TL;DR建立在神经切向核 (NTK) 和随机矩阵理论 (RMT) 的最新进展之上，我们提供了一种创新的压缩方法用于宽且全连接的深度神经网络，实现 “无损” 压缩，即压缩后的网络在渐近意义下与原始网络具有相同的 NTK，权重和激活只取值于 {0, ±1}。
deep neural networkscompressionneural tangent kernelrandom matrix theorylossless compression
发现论文，激发创造
  • 通用深度神经网络压缩

    本文研究深度神经网络的权重量化和无损源编码的有损压缩以实现内存有效部署，通过引入通用向量量化和通用源编码，实现了通用的深度神经网络压缩，并尝试运用通用随机格量化方法来随机化神经网络权重，证明该方法在压缩 32 层的 ResNet 和 AlexNet 时具有较高的压缩比和较低的失真率。

    Feb, 2018

  • 通过张量网络将神经网络压缩为指数少的变分参数

    本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

    May, 2023

  • 张量神经网络：神经网络的泛化和模型压缩应用

    该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

    May, 2018

  • 利用无限宽深度神经网络在小数据任务中的能力

    该研究表明：(a) 在无穷宽度神经网络 (NNs) 上应用 l2 损失 (通过梯度下降法) 训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核 (NTK) 的核回归是相等的。在此基础上，对 NTK 进行高效计算的算法已被提出，表明 NTK 在低数据任务上表现良好。

    Oct, 2019

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • Weightless：深度神经网络压缩的有损权重编码

    提出一种名为 Weightless 的新颖方案，其基于 Bloomier 过滤器并结合传统压缩技术，在不影响模型准确性的前提下，可以将深度神经网络的内存占用降低至原来的 1/496，较现有技术获得了 1.51 倍的提升。

    Nov, 2017

  • 通过草图和随机特征扩展神经切向核规模

    该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了 150 倍的速度。

    Jun, 2021

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 神经（正切核）崩塌

    本研究介绍了神经切比雪夫核（NTK）和神经塌缩（NC）现象对深度神经网络（DNN）训练的影响，提出了经验 NTK 应发展为与类标签对齐的块状结构，分析了 DNN 的动态并证明了块状 NTK 中存在 NC 现象。通过数值实验验证了理论的正确性。

    May, 2023

  • 深度神经网络在线压缩

    本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

    Sep, 2015