瓷砖位网络：通过可学习的二进制向量的重复使用进行亚位神经网络压缩

Jul, 2024

瓷砖位网络：通过可学习的二进制向量的重复使用进行亚位神经网络压缩

Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors

Matt Gorbett, Hossein Shirazi, Indrakshi Ray

TL;DR通过使用二进制神经网络、量化和图块位网络等方法，在减小模型大小的同时，实现了在不同体系结构和任务中接近全精度性能的结果。

Abstract

binary neural networks (BNNs) enable efficient deep learning by saving on storage and computational costs. However, as the size of neural networks continues to grow, meeting computational requirements remains a challenge. In this work, we propose a new form of →

发现论文，激发创造

深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

该论文介绍了一种名为“深度压缩”的技术，通过三阶段的网络压缩流程——剪枝、量化和霍夫曼编码——可以将神经网络模型的存储资源需求减小35到49倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

Oct, 2015

And the Bit Goes Down: 重新审视神经网络量化

本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

Jul, 2019

多位网络的自适应损失感知量化

研究深度神经网络压缩，提出一种自适应损失感知量化方法(ALQ)来加速推理并在低资源移动和嵌入式平台上降低存储需求。实验结果表明，该方法在精度和存储方面优于最先进的压缩网络。

Dec, 2019

BitPruning: 学习位长进行激进而精确的量化

通过提出一种惩罚体系惩罚大位长表示的正则化方法，我们可以在维持准确性的同时，在任意合适的层次上最小化推理位长。

Feb, 2020

置换、量化和微调：神经网络的高效压缩

通过对权重的重新排列，利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中，相对于现有技术水平，可以将压缩后网络的性能损失降低40％至70％。

Oct, 2020

二值神经网络的综合评述

本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法/技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了BNN的应用，以及其潜在的发展方向和未来研究机会。

Oct, 2021

Sub-bit神经网络：学习压缩和加速二进制神经网络

介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和FPGA硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

Oct, 2021

神经网络压缩：二值化和少量全精度权值

本论文提出了自动修剪二值化(APB)技术，结合量化和修剪，提高二元网络的表示能力，通过将部分全精度权重进行二值化或保留原精度降低其存储，具备更好的精度/内存的性价比且在效率方面持续优化。

Jun, 2023

稀疏化二进制神经网络的二进制域泛化

该论文提出了一种新的更一般的二进制域，扩展了标准二进制域，并且更适合剪枝技术，在保证性能的同时提高了压缩率，这种方法与其他修剪策略相结合可以生成高效稀疏网络，并减少内存使用和运行时间延迟。

Jun, 2023

MST压缩：通过最小生成树压缩和加速二进制神经网络

本文提出了一种名为最小生成树（MST）压缩的新方法，用于学习压缩和加速二值神经网络（BNNs），旨在降低计算成本和延迟，实验结果表明这种方法在资源受限的边缘计算设备上能够显著提高压缩比率并实现可忽略的准确度下降。

Aug, 2023