Mar, 2024

统一生成和压缩:多阶段变形器在超低比特率图像编码中的应用

TL;DR本文介绍了一种新的统一图像生成 - 压缩(UIGC)范式,该范式将生成和压缩过程合并在一起,通过采用矢量量化图像模型和多阶段 Transformer 来利用空间上下文信息建模先验分布,从而在实现熵估计和丢失令牌再生成方面成功使用学习到的先验,实验结果表明该 UIGC 框架在感知质量和人类感知方面优于现有编解码器,在极低比特率场景下(<=0.03 bpp)开创了生成式压缩的新方向。