May, 2023

基于贝叶斯隐式神经表达的压缩

PDF
TL;DR本文提出了一种基于变分贝叶斯神经网络的数据压缩方法，并使用相对熵编码代替量化和熵编码以优化 $eta$-ELBO 的速率失真性能，同时通过迭代算法学习先验权重分布并采用渐进式细化过程来有效提高压缩性能。实验证明，该方法在图像和音频压缩方面具有强大的性能，同时仍保持简洁。
variational bayesian neural networkdata compressionrelative entropy codingrate-distortion optimizationiterative algorithm
发现论文，激发创造
  • 变分贝叶斯量化

    我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式，该算法适用于深度概率模型，可以实现数据和模型压缩，并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷，实验证明了所提出的算法的有效性。

    Feb, 2020

  • COIN: 内隐神经表示压缩

    该研究提出了使用神经网络进行图像压缩的简单方法，该方法在编码图像时将 MLP 的权重作为代码存储。实验表明，该方法在低比特率下胜过 JPEG，是一种有吸引力的神经数据压缩方法。

    Mar, 2021

  • 最小化随机代码学习：从压缩模型参数中获取二进制位

    本文提出了一种通过使用全变分权重分布进行深度神经网络压缩的方法，能够实现更高的压缩率和更高的测试性能，并在 LeNet-5/MNIST 和 VGG-16/CIFAR-10 基准测试中创造出新的最优结果。

    Sep, 2018

  • 深度学习的贝叶斯压缩

    本研究通过采用贝叶斯视角，使用稀疏感知先验来修剪网络，使用 Hierarchical priors 修剪节点并使用后验不确定性确定编码权重的最优固定点精度，使得压缩率达到了最佳水平，并且仍然具有与优化速度或能量效率的方法相竞争的性能。

    May, 2017

  • 基于熵罚项重新参数化的可扩展模型压缩

    本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。

    Jun, 2019

  • 基于变分贝叶斯和压缩自编码器的图像恢复

    使用压缩自编码器进行潜在变量估计，在变分推断框架内实现此估计，并能快速、简便（近似地）进行后验采样，证明该方法能够与最先进的即插即用方法达到类似的性能，并且能够比其他现有的后验采样技术更快地量化不确定性。

    Nov, 2023

  • 灵活神经图像压缩的稳健过拟合潜在特征

    神经图像压缩可以通过使用变分自动编码器和随机 Gumbel 退火来优化编码器和解码器容量，从而提高压缩性能。

    Jan, 2024

  • 隐式神经表示的无模态限制变分压缩

    介绍了一种基于内涵神经表征（INR）的模态不可知神经压缩算法，使用变分压缩的方法优化了 INR 的表征能力，其在多种模态的数据集中表现出色，且在 JPEG 2000、MP3 和 AVC/HEVC 编码技术等领域实现了优于其他 INR 技术的性能。

    Jan, 2023

  • 可变速率图像压缩中的潜在表征选择性压缩学习

    本文提出了一种选择性压缩方法来进行基于深度学习的可变速率图像压缩，该方法通过生成 3D 重要性映射并调整该映射来确定不同目标质量水平的压缩所需的基本表示元素。实验结果表明，该方法可以获得与单独训练的参考压缩模型相当的压缩效率，并可以减少解码时间。

    Nov, 2022

  • 改进的贝叶斯压缩

    本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

    Nov, 2017