非线性向量变换编码
评估了一类名为非线性变换编码(NTC)的方法,这些方法在过去几年中已经与最佳线性变换编解码器在图像方面具有竞争力,并以已建立的感知质量指标(例如 MS-SSIM)超越了它们的速率 - 失真性能。通过简单示例源的帮助,评估了 NTC 的经验速率 - 失真性能,为此引入了一种新颖的熵约束向量量化器的变体;提供了各种形式的用于 NTC 模型的随机优化技术的分析;审查基于人工神经网络的变换体系结构以及学习的熵模型;并将多种方法进行了直接比较,以参数化非线性变换的速率 - 失真权衡,引入了一个简化的方法。
Jul, 2020
我们提出了一种利用分层 B 帧编码的 NVC 模型,并结合时间层自适应优化的方法,该模型在给定基线模型的基础上获得了印象深刻的 BD 速率提升,解决了处理复杂或大动态序列带来的挑战。
Aug, 2023
通过使用可微分的凸优化方法,Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品,并在图像重构和编码速度等方面取得了显著的改进。
Oct, 2023
本文提出了一种 Lattice Vector Quantization(LVQ)和空间自适应扩展(AC)相结合的新型映射策略,以取得更好的压缩效果,实验证明使用 LVQAC 可以在不显著增加模型复杂度的情况下,提高图像压缩性能。
Mar, 2023
通过引入具有自适应内容嵌入的混合神经表示视频(HNeRV)和一个新颖组件 ——VQ-NeRV 块,我们提出了一个先进的 U 型架构,Vector Quantized-NeRV(VQ-NeRV),以在视频回归任务中提供卓越的重建质量、更好的比特率和改善的视频修复结果。
Mar, 2024
通过特征调制,我们提出了一种强大的条件编码神经视频编解码器(NVC),解决了两个关键问题:如何在单一模型中支持宽范围的质量,并使 NVC 在长预测链下仍然有效。此外,我们设计了一个支持 RGB 和 YUV 颜色空间的单一模型。
Feb, 2024
通过对权重的重新排列,利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中,相对于现有技术水平,可以将压缩后网络的性能损失降低 40%至 70%。
Oct, 2020
通过向量量化等方法,本文提出了一种名为 VQ-NeRF 的管线,以提高隐式神经表示的效果和效率,并通过多尺度采样和语义损失函数等方法来增强网络保留场景的细节和几何特征。在多个数据集上的评估结果表明,该方法在图像渲染质量和效率之间达到了最佳平衡,性能优于其他方法。
Oct, 2023
提出了一种多级生成语义通信系统,通过两阶段训练框架,第一阶段利用多头八元码书(MOC)训练高质量码书,压缩索引范围,并结合残差矢量量化(RVQ)机制实现多级通信;第二阶段引入基于 Swin Transformer 的噪声抑制块(NRB),结合第一阶段的多级码书,作为高质量的语义知识库(SKB)用于生成特征恢复。实验结果表明,MOC-RVQ 在没有信道纠错编码的情况下,相比 BPG 或 JPEG 等方法具有更好的性能。
Jan, 2024