Jan, 2024

基于编码本的变压器驱动生成式端到端语义交流

PDF
TL;DR本研究提出了一种鲁棒的基于码本辅助的图像语义通信系统，通过共同构建语义编解码器和码本，设计了向量到索引转换器以消除信道噪声的影响，并实现图像生成。通过高质量码本对 Transformer 的辅助，经验证明生成的图像在视觉感知方面优于与之比较的方法，从结果和生成的图像可以展示出生成式语义通信方法相对于 JPEG+LDPC 和传统联合源信道编码方法 (JSCC) 的优势。
codebook-based generative semantic communicationrobustness against channel noisecodebook-assisted image semantic communicationvector-to-index transformergenerative semantic communication method
发现论文，激发创造
  • 具有遮蔽 VQ-VAE 代码本的健壮语义通信

    本文研究语义传播中的噪声问题，提出了一个新方法，通过对称重扰动、屏蔽关键特征和选择重要特征等方式，提高了语义通信系统的鲁棒性和噪声容忍度。

    Jun, 2022

  • MOC-RVQ：多级码书辅助的数字生成语义通信

    提出了一种多级生成语义通信系统，通过两阶段训练框架，第一阶段利用多头八元码书（MOC）训练高质量码书，压缩索引范围，并结合残差矢量量化（RVQ）机制实现多级通信；第二阶段引入基于 Swin Transformer 的噪声抑制块（NRB），结合第一阶段的多级码书，作为高质量的语义知识库（SKB）用于生成特征恢复。实验结果表明，MOC-RVQ 在没有信道纠错编码的情况下，相比 BPG 或 JPEG 等方法具有更好的性能。

    Jan, 2024

  • 基于 Transformer 的文本语义通信的联合源信道编码

    本文提出了一种文本语义传输框架，利用先进的自然语言处理技术对句子进行建模和编码，以实现鲁棒传输。该方法利用神经网络和注意机制在具有挑战性的无线环境中提供可靠高效的文本数据传输，通过对语义相似性和双语评估的模拟结果证明了该模型的优越性。

    Jul, 2023

  • 矢量量化语义通信系统

    本文提出了一种基于深度学习（DL）和向量量化（VQ）的语义通信系统 VQ-DeepSC，通过卷积神经网络（CNN）提取图像的多尺度语义特征并利用多尺度语义嵌入空间实现语义特征量化，从而使数据兼容数字通信系统，同时通过对抗训练引入 PatchGAN 鉴别器来提高接收图像的质量。实验结果表明，与 BPG 在数字通信系统方面相比，所提出的 VQ-DeepSC 具有更强的鲁棒性，并且在 MS-SSIM 性能方面与 DeepJSCC 方法相当。

    Sep, 2022

  • 面向语言的图像传输的语义潜空间表示

    基于语言的语义通信框架通过语言 - 图像编码和图像 - 语言解码，以及潜在扩散模型，实现了在嘈杂通信渠道中以较高的感知相似度重建预期图像的能力。

    May, 2024

  • 面向语言的通信：文本到图像生成的语义编码和知识蒸馏

    将大型语言模型和生成模型整合到新兴的语义交流模式中，我们提出了一种新的面向语言的语义交流框架（LSC）。在 LSC 中，机器使用人类语言消息进行交流，可以通过自然语言处理技术进行解释和操作以提高语义交流效率。通过引入三种创新算法：1）语义源编码（SSC）将文本提示压缩为捕捉提示的句法本质的关键词，同时保持它们的出现顺序以保持提示的上下文；2）语义通道编码（SCC）通过用更长的同义词替换关键词来提高对错误的鲁棒性；3）语义知识蒸馏（SKD）通过在上下文中学习听者的语言风格生成定制的提示。在一项渐进文本到图像生成的通信任务中，所提出的方法在减少传输次数的同时实现更高的感知相似度，并提高在嘈杂的通信信道中的鲁棒性。

    Sep, 2023

  • 面向多模态数据语义通信的自适应编码机制

    本文提出一个利用神经网络解决多模态语义通信问题的分布式框架，该框架包括传统的信道编码和解码，进一步建立了针对各种多模态语义任务的一般速率自适应编码机制。优化方案旨在在保持语义任务推理准确性的同时，最小化推理延迟。本文的数值结果表明，所提出的机制总体上表现优于传统通信和现有的语义通信系统。

    May, 2023

  • 基于视觉语言模型的跨模态语义通信系统

    提出了一种新颖的基于视觉 - 语言模型的跨模态语义通信系统，通过跨模态知识库、记忆辅助编解码和噪声注意模块来解决图像语义通信系统中的挑战，实验证实了该系统的有效性、适应性和鲁棒性。

    May, 2024

  • 使用视觉 Transformer 进行实时语义通信演示

    该论文提出了一种基于端到端深度神经网络结构的图像传输方法，利用现场可编程门阵列（FPGA）在实时无线信道上实现了原型测试，结果表明该系统在使用流行的 CIFAR-10 数据集时，比传统 256 正交幅度调制系统在低信噪比情况下表现更好。本文是第一篇使用视觉变换器实现和研究实时语义通信的工作。

    May, 2022

  • 基于 MIMO 干扰信道的图像传输语义通信的基准测试

    语义通信在增强数据传输效率方面具有很大潜力。本文针对干扰情景与基准方案进行了比较研究，提出了一种抗干扰的语义通信方案。该方案基于神经网络（NNs）开发了收发机，它可以单独在接收端或发送端和接收端都集成信道状态信息（CSI）。我们还建立了一个综合损失函数来训练 IRSC 收发机，并采用动态机制来更新损失函数中各个部分的权重，以提高系统对用户的公平性。实验结果表明，所提出的 IRSC 方案能有效地学习抑制干扰，在低信噪比（SNR）环境中优于基准方案。

    Apr, 2024