ICLRJun, 2019

基于熵罚项重新参数化的可扩展模型压缩

PDF
TL;DR本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。
neural networksweight compressionlatent spacemodel architecturemodel compression
发现论文，激发创造
  • 最小化随机代码学习：从压缩模型参数中获取二进制位

    本文提出了一种通过使用全变分权重分布进行深度神经网络压缩的方法，能够实现更高的压缩率和更高的测试性能，并在 LeNet-5/MNIST 和 VGG-16/CIFAR-10 基准测试中创造出新的最优结果。

    Sep, 2018

  • 基于贝叶斯隐式神经表达的压缩

    本文提出了一种基于变分贝叶斯神经网络的数据压缩方法，并使用相对熵编码代替量化和熵编码以优化 $eta$-ELBO 的速率失真性能，同时通过迭代算法学习先验权重分布并采用渐进式细化过程来有效提高压缩性能。实验证明，该方法在图像和音频压缩方面具有强大的性能，同时仍保持简洁。

    May, 2023

  • 通过稀疏词表示压缩神经语言模型

    本文提出使用稀疏单词表示来压缩神经语言模型的参数量，以减少计算资源需求并提高性能表现。

    Oct, 2016

  • 深度图像压缩的条件概率模型

    本研究提出了一种基于 3D-CNN 的条件概率模型方法，用于直接建模图像自动编码器隐层表示的熵，从而控制重构误差和信息熵之间的平衡关系，该方法在 MS-SSIM 能力测试中表现优异，成为一种最新的图像压缩系统。

    Jan, 2018

  • 在压缩权重空间中训练和生成神经网络

    本文旨在探讨使用离散余弦变换对循环神经网络的权重矩阵进行编码的方法，以提高算法的可扩展性和效率，并在 enwik8 数据集上进行了实验。

    Dec, 2021

  • 高效神经压缩与推理时间解码

    通过混合精度量化、零点量化和熵编码将 Resnets 的压缩边界推进到 1 位以外，在 ImageNet 基准测试中准确度下降不超过 1%。

    Jun, 2024

  • 通过张量网络将神经网络压缩为指数少的变分参数

    本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

    May, 2023

  • 深度神经网络的熵受限训练

    该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。

    Dec, 2018

  • 灵活神经图像压缩的稳健过拟合潜在特征

    神经图像压缩可以通过使用变分自动编码器和随机 Gumbel 退火来优化编码器和解码器容量，从而提高压缩性能。

    Jan, 2024

  • 深度网络压缩感知训练

    本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

    Nov, 2017