Aug, 2023

神经图像压缩中的频率分离特征

PDF
TL;DR基于特征级频率分离和基于 Transformer 的分析 / 合成变换的增强自注意力计算的神经图像压缩网络，不仅优于手工编码的编解码器，还优于基于神经网络的编解码器。
neural image compression networkentropy modelrelaxed quantizationfeature-level frequency disentanglementtransformer-based analysis/synthesis transform
发现论文，激发创造
  • 用潜在量化实现解缠

    通过强化模型正则化并将潜空间量化为可学习的离散代码，本文提出一种面向组成性编码和解码的概念偏置，从而在许多基准数据集上显著改善了学习表示的模块化和明确性。

    May, 2023

  • 利用频率增广变分自编码器进行图像重建

    本文提出了一种用于增强 VQ-VAE 结构的频率补全模块 (Frequency Complement Module, FCM)，并且引入了一种动态频谱损失 (Dynamic Spectrum Loss, DSL)，用于引导 FCM 动态地平衡频率以获得最佳重建。FA-VAE 进一步扩展到了文本到图像合成任务中，并提出了交叉注意力自回归变换器 (Cross-attention Autoregressive Transformer, CAT) 以获得更精确的文本语义属性。通过在几个基准数据集上进行广泛的重建实验，并与其它最先进的方法进行比较，结果表明，所提出的 FA-VAE 能够更忠实地恢复细节。CAT 在图像文本语义对齐方面也显示出了更好的生成质量。

    May, 2023

  • 分层量化自编码器

    该研究使用层次 VQ-VAE 近似压缩图像，同时保持感知质量和抽象特征。在 CelebA 和 MNIST 数据集上进行了定性和定量评估。

    Feb, 2020

  • ECRF: 基于频域优化的熵约束神经辐射场压缩

    提出了一种基于频域熵建模的压缩模型，通过离散余弦变换（DCT）对特征网格进行压缩，进一步使用熵参数化技术提高稀疏性，实现轻量级压缩编解码，从而使得体积辐射场方法更易于在实际应用中使用。实验结果表明，所提出的频域熵模型在多个数据集上达到了卓越的压缩性能。

    Nov, 2023

  • 离散序列自编码器

    这篇论文介绍了一种针对高维时序数据（如视频或音频）的 VAE 模型架构，学习了数据的潜在表示，可以近似地分解潜在的时间相关特征（动态）和随时间保持不变的特征（内容），从而进行内容和动态的部分控制，并给出了在人工生成的卡通视频片段和声音记录上的实验证据，进一步论证了随机 RNN 模型相对于确定性 RNN 对长序列的压缩与生成的效率更高的假设。

    Mar, 2018

  • 用于学习图像压缩的通道方向自回归熵模型

    本研究介绍了两种增强技术：通道调节和潜在残差预测，提出了比现有上下文自适应模型更好的网络架构，该模型在最小化串行处理、保持数据完整性等方面都性能更优，在 Kodak 和 Tecnick 图像集上的平均速率提高了 6.7% 和 11.4%。在低比特率下，本研究的模型可使速率提高 18%，比像 BPG 这样的手工工程编解码器提高 25%。

    Jul, 2020

  • 深度图像压缩的条件概率模型

    本研究提出了一种基于 3D-CNN 的条件概率模型方法，用于直接建模图像自动编码器隐层表示的熵，从而控制重构误差和信息熵之间的平衡关系，该方法在 MS-SSIM 能力测试中表现优异，成为一种最新的图像压缩系统。

    Jan, 2018

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • 向量量化自编码器的理论与实验

    该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

    May, 2018

  • 可传递信息理论及其在深度生成模型中的应用

    本文介绍了一种基于控制先验和层次结构的基于变分自编码器 (SemafoVAE) 来实现分离表示和生成高质量图像的方法。

    Mar, 2022