改进神经图像压缩推理
我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式,该算法适用于深度概率模型,可以实现数据和模型压缩,并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷,实验证明了所提出的算法的有效性。
Feb, 2020
我们提出了一种名为 BB-ANS 的方案,用于在潜在变量模型中进行无损压缩,通过使用变分自动编码器模型来压缩 MNIST 数据集,实现了比标准方法更高的压缩率。
Jan, 2019
本文观察到了完全卷积 VAE 模型在对于 32x32 的 ImageNet 数据集进行训练后不仅可泛化到 64x64,还能很好地扩展到更大的照片,且不需要修改模型。作者使用这种特性将完全卷积模型应用于无损压缩,并展示了一种将基于 VAE 的 Bits-Back with ANS 算法扩展到大型彩色照片的方法并获得了最先进的结果。此外,作者还发布了 Craystack 库,一个开源、方便的概率模型无损压缩原型库,其中包含了所有压缩结果的完整实现。
Dec, 2019
使用压缩自编码器进行潜在变量估计,在变分推断框架内实现此估计,并能快速、简便(近似地)进行后验采样,证明该方法能够与最先进的即插即用方法达到类似的性能,并且能够比其他现有的后验采样技术更快地量化不确定性。
Nov, 2023
这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法,通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小,并将该方法与传统的超参数网格搜索进行比较,结果表明其速度显著更快,且在四个图像数据集上实现了最佳的维度。此外,还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当,因此可能作为一种便利的替代方法。
Dec, 2023
本文介绍了利用更紧密的变分上限构建的 bits-back 编码算法来消除 KL 散度对速率效率的影响,并提出了利用延伸空间表示来优化 MC 估计的关键思想,并通过在潜在空间中耦合来大大减少额外成本,最终实现了较 bits-back 更好的无损压缩速率。
Feb, 2021
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Jan, 2019