压缩神经网络的功能性哈希

NIPSMay, 2016

Functional Hashing for Compressing Neural Networks

Lei Shi, Shikun Feng, Zhifan Zhu

TL;DR本文提出一种基于功能散列的新型结构 FunHashNN，通过利用多个低成本的散列函数获取压缩空间中的值，再使用小型重建网络恢复每个深层网络中的条目，从而高效地压缩深度神经网络，经实验证明，FunHashNN 在多个基准数据集上表现出较高的压缩比和准确率。

Abstract

As the complexity of deep neural networks (DNNs) trend to grow to absorb the increasing sizes of data, memory and energy consumption has been receiving more and more attentions for industrial applications, especially on mobile devices. This paper presents a novel structure based on fun

deep neural networks compression funhashnn hash functions prediction accuracy

发现论文，激发创造

使用哈希技巧压缩神经网络

本研究提出了 HashedNets 这一新型网络结构，在使用深度学习技术进行移动设备应用时，可以通过哈希函数来分组并共享连接权重参数，进而大幅缩小神经网络所需的存储空间，而不会明显影响其泛化性能。

Apr, 2015

模型压缩的结构化多哈希技术

本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

Nov, 2019

压缩卷积神经网络

本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

Jun, 2015

HashNet: 基于连续方法的深度哈希学习

HashNet 是一种基于连续化方法具有收敛保证的新型深度学习哈希结构，它从不平衡的相似性数据中学习准确的二进制哈希码，在标准测试中可产生最先进的多媒体检索性能。

Feb, 2017

使用无损同态压缩加速分布式深度学习

我们介绍了一种新的压缩算法，将工作节点级别的压缩与网络内聚合相结合，在不牺牲训练准确度的情况下有效提高聚合吞吐量和每次迭代的训练速度。

Feb, 2024

使用哈希的嵌入压缩技术，用于大规模图表现学习的高效方法

通过使用压缩方法，我们可以将节点嵌入用比浮点向量更紧凑的向量表示，从而实现在工业级规模的图形数据上快速训练图神经网络，同时达到更好的性能。

Aug, 2022

深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

Oct, 2015

深度神经网络压缩调研：挑战，概述和解决方案

该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

Oct, 2020

深度神经网络在线压缩

本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

Sep, 2015

自压缩神经网络

本文介绍了一种称为 Self-Compression 的方法，可以移除神经网络中的冗余参数和减少表示权重所需的位数，从而简化网络结构，提高训练和推断效率。作者通过实验证明，使用 Self-Compression 方法可以在只保留网络中 18% 的权重和仅需 3% 的位数的条件下，还能实现浮点数的准确性。

Jan, 2023