Jan, 2024

MOC-RVQ：多级码书辅助的数字生成语义通信

PDF
TL;DR提出了一种多级生成语义通信系统，通过两阶段训练框架，第一阶段利用多头八元码书（MOC）训练高质量码书，压缩索引范围，并结合残差矢量量化（RVQ）机制实现多级通信；第二阶段引入基于 Swin Transformer 的噪声抑制块（NRB），结合第一阶段的多级码书，作为高质量的语义知识库（SKB）用于生成特征恢复。实验结果表明，MOC-RVQ 在没有信道纠错编码的情况下，相比 BPG 或 JPEG 等方法具有更好的性能。
发现论文，激发创造
  • LG-VQ：语言导向的代码本学习

    本文提出了一种新颖的语言引导的码书学习框架 (LG-VQ)，旨在学习与文本对齐的码书，以提高多模态下游任务的性能。实验结果表明，我们的方法在重构和各种多模态下游任务上取得了优越的性能。

    May, 2024

  • 基于编码本的变压器驱动生成式端到端语义交流

    本研究提出了一种鲁棒的基于码本辅助的图像语义通信系统，通过共同构建语义编解码器和码本，设计了向量到索引转换器以消除信道噪声的影响，并实现图像生成。通过高质量码本对 Transformer 的辅助，经验证明生成的图像在视觉感知方面优于与之比较的方法，从结果和生成的图像可以展示出生成式语义通信方法相对于 JPEG+LDPC 和传统联合源信道编码方法 (JSCC) 的优势。

    Jan, 2024

  • 矢量量化语义通信系统

    本文提出了一种基于深度学习（DL）和向量量化（VQ）的语义通信系统 VQ-DeepSC，通过卷积神经网络（CNN）提取图像的多尺度语义特征并利用多尺度语义嵌入空间实现语义特征量化，从而使数据兼容数字通信系统，同时通过对抗训练引入 PatchGAN 鉴别器来提高接收图像的质量。实验结果表明，与 BPG 在数字通信系统方面相比，所提出的 VQ-DeepSC 具有更强的鲁棒性，并且在 MS-SSIM 性能方面与 DeepJSCC 方法相当。

    Sep, 2022

  • 具有遮蔽 VQ-VAE 代码本的健壮语义通信

    本文研究语义传播中的噪声问题，提出了一个新方法，通过对称重扰动、屏蔽关键特征和选择重要特征等方式，提高了语义通信系统的鲁棒性和噪声容忍度。

    Jun, 2022

  • 通过含蓄的神经网络码本进行残差量化

    QINCo 是一种神经网络 RQ 变体，它通过根据先前步骤的向量逼近条件化地预测每个向量的专门码书，实验证明 QINCo 在多个数据集和码字大小上显著优于现有方法。

    Jan, 2024

  • 知识蒸馏的多码本向量量化索引预测

    本文提出了一种新的多码本量化方法，将生成教师向量卡尺化成为一个编解码问题，实现了教师模型的向量压缩，以减少模型存储需求。在 LibriSpeech 数据集上，用该方法训练的学生模型能够获得与传统 KD 方法（l1, l2）相当的 ASR 性能，并在存储容量上实现了 256 倍的减少。

    Oct, 2022

  • 利用词性的码书迁移在矢量量化图像建模中的应用

    通过预训练语言模型中的先前训练的编码簿以及词性知识作为先验，构建一个视觉相关的编码簿，通过新的编码簿传递网络来实现鲁棒的 VQIM 编码簿学习，实验证明我们的 VQCT 方法在四个数据集上取得了优于现有最先进方法的性能。

    Mar, 2024

  • 一种多阶段多码本的 VQ-VAE 方法实现高性能神经 TTS

    提出一种多阶段、多码本（MSMC）方法来高效实现神经 TTS 合成，该方法使用基于向量量化的变分自编码器（VQ-VAE）编码语音训练数据的 Mel 频谱图，并通过多阶段逐渐进行下采样，将它们量化为具有不同时间分辨率的多个 MSMC 表示，同时使用多个 VQ 码本。在合成中，神经声码器将预测的 MSMCR 转换为最终语音波形，该方法在 16 小时的英语 TTS 数据库中，以女性说话者的 TTS 得分（MOS）为 4.41，比基准值的 MOS（3.62）更出色，同时低参数的紧凑版本仍然可以保持高 MOS 得分，消融研究表明，多个阶段和多个码本对于实现高性能的 TTS 都是有效的。

    Sep, 2022

  • 在线聚类码本

    参考文献通过在线聚类学习方法 Clustering VQ-VAE（CVQ-VAE）解决了向量量化（VQ）中的代码书坍塌问题，提高了在复杂的计算机视觉任务中学习更大的代码书的效果。

    Jul, 2023

  • 朝向准确的图像编码：动态向量量化改进自回归图像生成

    提出了一种新的两阶段框架，它使用动态量化 VAE 将图像区域编码为基于其信息密度的可变长度代码，以实现更准确，更紧凑的代码表示，从而解决了现有 VQ 基于自回归模型的固定长度编码问题，该方法通过一种新的堆叠 Transformer 架构和共享内容、独立位置输入层设计，从粗粒度到细粒度生成图像。

    May, 2023