Sep, 2023

面向语言的通信：文本到图像生成的语义编码和知识蒸馏

PDF
TL;DR将大型语言模型和生成模型整合到新兴的语义交流模式中，我们提出了一种新的面向语言的语义交流框架（LSC）。在 LSC 中，机器使用人类语言消息进行交流，可以通过自然语言处理技术进行解释和操作以提高语义交流效率。通过引入三种创新算法：1）语义源编码（SSC）将文本提示压缩为捕捉提示的句法本质的关键词，同时保持它们的出现顺序以保持提示的上下文；2）语义通道编码（SCC）通过用更长的同义词替换关键词来提高对错误的鲁棒性；3）语义知识蒸馏（SKD）通过在上下文中学习听者的语言风格生成定制的提示。在一项渐进文本到图像生成的通信任务中，所提出的方法在减少传输次数的同时实现更高的感知相似度，并提高在嘈杂的通信信道中的鲁棒性。
language-oriented semantic communicationsemantic source codingsemantic channel codingsemantic knowledge distillationprogressive text-to-image generation
发现论文，激发创造
  • 面向语言的图像传输的语义潜空间表示

    基于语言的语义通信框架通过语言 - 图像编码和图像 - 语言解码，以及潜在扩散模型，实现了在嘈杂通信渠道中以较高的感知相似度重建预期图像的能力。

    May, 2024

  • 基于视觉语言模型的跨模态语义通信系统

    提出了一种新颖的基于视觉 - 语言模型的跨模态语义通信系统，通过跨模态知识库、记忆辅助编解码和噪声注意模块来解决图像语义通信系统中的挑战，实验证实了该系统的有效性、适应性和鲁棒性。

    May, 2024

  • 基于大型人工智能模型的语义通信

    在本研究中，我们提出了一种基于大型人工智能模型的语义通信框架（LAM-SC），该框架针对图像数据进行设计，其中我们首先设计了一个基于任意语义知识的分割任何模型（SAM）的知识库（SKB），可以通过通用语义知识将原始图像分割为不同的语义片段。然后，我们提出了一种基于注意力的语义集成（ASI），用于权衡由 SKB 生成的语义片段，并将它们整合为语义感知图像。此外，我们提出了一种自适应语义压缩（ASC）编码，以去除语义特征中的冗余信息，从而减少通信开销。最后，通过仿真实验，我们证明了 LAM-SC 框架的有效性以及基于大型人工智能模型的知识库在未来语义通信范例中的重要性。

    Jul, 2023

  • 大型 AI 模型赋能的多模态语义通信

    利用大型人工智能模型构建的大规模多模态语义通信（LAM-MSC）框架，通过多模态对齐、个性化语言模型和信道状态估计相结合来解决多模态语义通信中的数据异构性、语义歧义和信号衰落等挑战，并通过模拟实验验证了该框架的卓越性能。

    Sep, 2023

  • 迈向语义通讯：基于深度学习的图像语义编码

    本文提出了一种基于强化学习的自适应语义编码方法 (RL-ASC)，通过卷积语义编码器将图像数据的类别、空间排列和视觉特征作为表征单元，将像素相似度替换为语义相似度来定义图像重建准则，通过自适应量化等级编码某个语义概念来增加速率 - 语义 - 感知性能作为奖励和生成式对抗网络 (GANs) 的语义解码器来重构图像，实验结果表明，与标准编解码器和其他深度学习基础图像编解码器相比，提出的 RL-ASC 方法具有噪声鲁棒性并能节约大量位量成本。

    Aug, 2022

  • 基于深度学习的语义通信系统

    提出了一种基于深度学习的语义通信系统 DeepSC，使用 Transformer 来重构语句的含义，最大化系统容量并最小化语义错误，同时采用迁移学习以适应不同的通信环境，并提供了一个新的度量标准，命名为句子相似性。深度语义通信系统在低信噪比的情况下表现更好，比传统的非语义信息传播的系统更稳健。

    Jun, 2020

  • 语音传输的语义沟通系统

    该研究通过设计一种基于深度学习和注意机制的语音语义通信系统 DeepSC-S，以提高在噪音环境下的语音信号精度和鲁棒性，并在电话和多媒体传输系统中进行了实践验证。研究证明 DeepSC-S 在语音信号指标方面优于传统通信方法，并且在低信噪比环境中表现更加出色，这可以通过提供更高的权重来识别必要的语音信息。

    Feb, 2021

  • 基于深度学习的语义通信系统与共享知识库

    提出了一种新颖的语义通信系统，该系统采用共享的知识库，并利用共享的知识库中的消息和相应知识来获取剩余信息，从而实现更少符号的传输，并且在语义性能方面没有降级。

    Nov, 2023

  • 从面向语言到紧急沟通的知识蒸馏：针对多智能体远程控制

    通过使用预训练的大型语言模型，我们比较了基于多智能体深度强化学习 (MADRL) 的紧急通信 (EC) 和以人类语言为基础的语义通信 (LSC)，在一个多智能体远程导航任务中，使用多模态输入数据，显示了 EC 在使用多模态数据时产生高成本和困难，而 LSC 由于 LLM 的巨大规模造成了高推理计算成本。为了解决各自的瓶颈问题，我们提出了一种通过知识蒸馏 (KD) 引导 EC 训练的语言引导 EC (LEC) 的新框架。模拟结果证实，LEC 在避开信道信号差区域的同时，实现了更快的行程时间，并且相比于 EC 加速了 MADRL 训练收敛速度达 61.8%。

    Jan, 2024

  • 语义多分辨率通讯

    基于深度学习的多分辨率联合源信道编码（JSCC）框架通过多任务学习的概念，有效编码并解码不同分辨率的数据，突破了传统分离源信道编码（SSCC）方法在有限块长度数据处理中的次优性和多用户 / 多分辨率数据重构的限制，对于语义通信尤为有潜力，提高语义特征的提取和保留能力。

    Aug, 2023