Bit-Swap: 递归位回推编码用于层次化潜在变量无损压缩
我们提出了一种名为 BB-ANS 的方案,用于在潜在变量模型中进行无损压缩,通过使用变分自动编码器模型来压缩 MNIST 数据集,实现了比标准方法更高的压缩率。
Jan, 2019
本文介绍了利用更紧密的变分上限构建的 bits-back 编码算法来消除 KL 散度对速率效率的影响,并提出了利用延伸空间表示来优化 MC 估计的关键思想,并通过在潜在空间中耦合来大大减少额外成本,最终实现了较 bits-back 更好的无损压缩速率。
Feb, 2021
本文提出了一种用于流模型的新的压缩技术 —— 局部 Bits-Back 编码,并为许多流模型提供了高效的算法来实现该技术,实验表明该算法可以实现先进的流模型在高维数据上的理论码率。
May, 2019
本文观察到了完全卷积 VAE 模型在对于 32x32 的 ImageNet 数据集进行训练后不仅可泛化到 64x64,还能很好地扩展到更大的照片,且不需要修改模型。作者使用这种特性将完全卷积模型应用于无损压缩,并展示了一种将基于 VAE 的 Bits-Back with ANS 算法扩展到大型彩色照片的方法并获得了最先进的结果。此外,作者还发布了 Craystack 库,一个开源、方便的概率模型无损压缩原型库,其中包含了所有压缩结果的完整实现。
Dec, 2019
这篇论文讨论了数据压缩中两种熵编码方法的优缺点,并介绍了一种新的方法 —— 非对称数字系统熵编码,它可以在保证压缩率的同时提高解码速度,相当于在速度和效率之间找到了平衡点。
Nov, 2013
本文提出了一种通过使用全变分权重分布进行深度神经网络压缩的方法,能够实现更高的压缩率和更高的测试性能,并在 LeNet-5/MNIST 和 VGG-16/CIFAR-10 基准测试中创造出新的最优结果。
Sep, 2018
通过基于 Pólya 的 urn 模型的无参数模型,利用随机边编码 (Random Edge Coding) 方法进行图压缩,依靠位后编码 (bits-back coding) 从边列表中无需替换抽样边和节点。实验证明,Random Edge Coding 可在现实世界的网络数据集上达到竞争性压缩性能,并可扩展到具有数百万节点和边的图。
May, 2023
本文提出了一种新的熵编码方法:将等概率符号序列编码到对称数位系统中,这些系统是用于自由选择符号概率分布的最优系统,它类似于范围编码,但是我们将符号范围均匀分布在整个区间中;此方法非常通用 - 我们可以从极其精确的编码(ABS)到极其快速的编码(ANS),并具有加密和纠错功能,可获得期望的线性纠错时间,并且接近于 Shannon 极限。
Feb, 2009
本文介绍了一种基于对称数字系统的无损压缩方法,特别是它们共享编码器和解码器之间的结构,使得可以使用单一可逆函数同时指定两者。我们提出了一种可逆语言 Flipper,它嵌入在 Agda 中,以支持对程序属性的形式化验证。通过 Flipper,用户不仅可以获得加密 / 解密函数对,还可以获得它们互为逆的证明。本文给出了一个 Flipper 的小例子,计划很快发布一个完整的压缩实现。
Nov, 2022