MMSep, 2022

矢量量化语义通信系统

PDF
TL;DR本文提出了一种基于深度学习（DL）和向量量化（VQ）的语义通信系统 VQ-DeepSC，通过卷积神经网络（CNN）提取图像的多尺度语义特征并利用多尺度语义嵌入空间实现语义特征量化，从而使数据兼容数字通信系统，同时通过对抗训练引入 PatchGAN 鉴别器来提高接收图像的质量。实验结果表明，与 BPG 在数字通信系统方面相比，所提出的 VQ-DeepSC 具有更强的鲁棒性，并且在 MS-SSIM 性能方面与 DeepJSCC 方法相当。
发现论文，激发创造
  • 基于深度学习的语义通信系统

    提出了一种基于深度学习的语义通信系统 DeepSC，使用 Transformer 来重构语句的含义，最大化系统容量并最小化语义错误，同时采用迁移学习以适应不同的通信环境，并提供了一个新的度量标准，命名为句子相似性。深度语义通信系统在低信噪比的情况下表现更好，比传统的非语义信息传播的系统更稳健。

    Jun, 2020

  • 语音传输的语义沟通系统

    该研究通过设计一种基于深度学习和注意机制的语音语义通信系统 DeepSC-S，以提高在噪音环境下的语音信号精度和鲁棒性，并在电话和多媒体传输系统中进行了实践验证。研究证明 DeepSC-S 在语音信号指标方面优于传统通信方法，并且在低信噪比环境中表现更加出色，这可以通过提供更高的权重来识别必要的语音信息。

    Feb, 2021

  • 一对多语义通信系统：设计，实现，性能评估

    本研究提出了一种基于深度神经网络和迁移学习的语义通信系统，名为 MR_DeepSC，此系统解决了多用户情况下应用语义通信的问题，并在低信噪比条件下实现了最佳性能。

    Sep, 2022

  • MOC-RVQ：多级码书辅助的数字生成语义通信

    提出了一种多级生成语义通信系统，通过两阶段训练框架，第一阶段利用多头八元码书（MOC）训练高质量码书，压缩索引范围，并结合残差矢量量化（RVQ）机制实现多级通信；第二阶段引入基于 Swin Transformer 的噪声抑制块（NRB），结合第一阶段的多级码书，作为高质量的语义知识库（SKB）用于生成特征恢复。实验结果表明，MOC-RVQ 在没有信道纠错编码的情况下，相比 BPG 或 JPEG 等方法具有更好的性能。

    Jan, 2024

  • 使用视觉 Transformer 进行实时语义通信演示

    该论文提出了一种基于端到端深度神经网络结构的图像传输方法，利用现场可编程门阵列（FPGA）在实时无线信道上实现了原型测试，结果表明该系统在使用流行的 CIFAR-10 数据集时，比传统 256 正交幅度调制系统在低信噪比情况下表现更好。本文是第一篇使用视觉变换器实现和研究实时语义通信的工作。

    May, 2022

  • 基于交替学习的稀疏语义视觉传输

    本文提出了 SparseSBC，它是一种用于视觉传输的基于深度神经网络的 SemCom 系统，通过交替学习编码和解码来解决信道中的非可微性问题，并且利用二进制量化模块在保持语义准确性的基础上生成稀疏的比特集。广泛的模拟结果验证了 SparseSBC 在不同信道条件下表现出高效和有效的传输性能，并超越了典型的 SemCom 解决方案。

    Jul, 2023

  • VideoQA-SC：用于视频问答的自适应语义交流

    本文提出了一种面向视频问答任务的端到端语义通信系统 VideoQA-SC，通过有效的视频语义提取和高效稳健的语义传输，绕过接收端的视频重构，实现了在嘈杂或衰落无线信道上直接完成视频问答任务，并实验证明在广泛的信道条件和带宽限制下，VideoQA-SC 在提高回答准确性的同时，节省了近 99.5% 的带宽。

    May, 2024

  • 具有任务不知晓的发射机和动态数据的深度学习技术支持的语义通信系统

    本文提出了一种新的神经网络语义通信系统，包括语义编码网络和数据适应网络，通过传输学习中的域适应技术实现了针对动态数据环境下的任务不可知的图像传输，实验结果表明该方法在保持高性能的同时也能适应可观测数据集。

    Apr, 2022

  • 基于视觉语言模型的跨模态语义通信系统

    提出了一种新颖的基于视觉 - 语言模型的跨模态语义通信系统，通过跨模态知识库、记忆辅助编解码和噪声注意模块来解决图像语义通信系统中的挑战，实验证实了该系统的有效性、适应性和鲁棒性。

    May, 2024

  • 迈向语义通讯：基于深度学习的图像语义编码

    本文提出了一种基于强化学习的自适应语义编码方法 (RL-ASC)，通过卷积语义编码器将图像数据的类别、空间排列和视觉特征作为表征单元，将像素相似度替换为语义相似度来定义图像重建准则，通过自适应量化等级编码某个语义概念来增加速率 - 语义 - 感知性能作为奖励和生成式对抗网络 (GANs) 的语义解码器来重构图像，实验结果表明，与标准编解码器和其他深度学习基础图像编解码器相比，提出的 RL-ASC 方法具有噪声鲁棒性并能节约大量位量成本。

    Aug, 2022