Jul, 2023

基于大型人工智能模型的语义通信

PDF
TL;DR在本研究中，我们提出了一种基于大型人工智能模型的语义通信框架（LAM-SC），该框架针对图像数据进行设计，其中我们首先设计了一个基于任意语义知识的分割任何模型（SAM）的知识库（SKB），可以通过通用语义知识将原始图像分割为不同的语义片段。然后，我们提出了一种基于注意力的语义集成（ASI），用于权衡由 SKB 生成的语义片段，并将它们整合为语义感知图像。此外，我们提出了一种自适应语义压缩（ASC）编码，以去除语义特征中的冗余信息，从而减少通信开销。最后，通过仿真实验，我们证明了 LAM-SC 框架的有效性以及基于大型人工智能模型的知识库在未来语义通信范例中的重要性。
发现论文，激发创造
  • 大型 AI 模型赋能的多模态语义通信

    利用大型人工智能模型构建的大规模多模态语义通信（LAM-MSC）框架，通过多模态对齐、个性化语言模型和信道状态估计相结合来解决多模态语义通信中的数据异构性、语义歧义和信号衰落等挑战，并通过模拟实验验证了该框架的卓越性能。

    Sep, 2023

  • 面向语言的通信：文本到图像生成的语义编码和知识蒸馏

    将大型语言模型和生成模型整合到新兴的语义交流模式中，我们提出了一种新的面向语言的语义交流框架（LSC）。在 LSC 中，机器使用人类语言消息进行交流，可以通过自然语言处理技术进行解释和操作以提高语义交流效率。通过引入三种创新算法：1）语义源编码（SSC）将文本提示压缩为捕捉提示的句法本质的关键词，同时保持它们的出现顺序以保持提示的上下文；2）语义通道编码（SCC）通过用更长的同义词替换关键词来提高对错误的鲁棒性；3）语义知识蒸馏（SKD）通过在上下文中学习听者的语言风格生成定制的提示。在一项渐进文本到图像生成的通信任务中，所提出的方法在减少传输次数的同时实现更高的感知相似度，并提高在嘈杂的通信信道中的鲁棒性。

    Sep, 2023

  • 大型生成模型辅助的 3D 语义通信

    6G 中一种新的数据传输范式为语义通信（SC），然而在 3D 情景中进行 SC 时存在几个挑战，包括 3D 语义提取、潜在语义冗余和不确定的信道估计。为了解决这些问题，我们提出了一种基于生成 AI 模型辅助的 3D SC（GAM-3DSC）系统。

    Mar, 2024

  • 语义沟通与知识学习的相互作用

    通过集成人工智能技术，本文介绍了以知识理解和处理为重点的语义通信（SemCom）在知识学习方面的应用，尤其关注知识图谱（KGs）的利用，提出了增强型 KGs 的 SemCom 系统，并探索了在不断演化的知识库中更有效地操作的潜在方法和与大型语言模型（LLMs）进行数据增强的可能性。广泛的数值结果表明，所提出的框架在 KG 增强的解码上具有卓越的性能并展示了其在不同场景下的多功能性。

    Jan, 2024

  • 基于视觉语言模型的跨模态语义通信系统

    提出了一种新颖的基于视觉 - 语言模型的跨模态语义通信系统，通过跨模态知识库、记忆辅助编解码和噪声注意模块来解决图像语义通信系统中的挑战，实验证实了该系统的有效性、适应性和鲁棒性。

    May, 2024

  • 基于深度学习的语义通信系统与共享知识库

    提出了一种新颖的语义通信系统，该系统采用共享的知识库，并利用共享的知识库中的消息和相应知识来获取剩余信息，从而实现更少符号的传输，并且在语义性能方面没有降级。

    Nov, 2023

  • 迈向语义通讯：基于深度学习的图像语义编码

    本文提出了一种基于强化学习的自适应语义编码方法 (RL-ASC)，通过卷积语义编码器将图像数据的类别、空间排列和视觉特征作为表征单元，将像素相似度替换为语义相似度来定义图像重建准则，通过自适应量化等级编码某个语义概念来增加速率 - 语义 - 感知性能作为奖励和生成式对抗网络 (GANs) 的语义解码器来重构图像，实验结果表明，与标准编解码器和其他深度学习基础图像编解码器相比，提出的 RL-ASC 方法具有噪声鲁棒性并能节约大量位量成本。

    Aug, 2022

  • 分段大杂烩遇上语义交流

    本文提出了一种基于 Segment Anything Model（SAM）的语义编码方法，SAM 作为一种可提示的图像分割模型，在不需要显示训练或具体领域知识的情况下能够完成零样本分割任务，通过应用 SAM 的分割能力和轻量级的神经网络架构进行语义编码，实现了对图像重建质量的提高和通信开销的降低。

    Jun, 2023

  • 面向语言的图像传输的语义潜空间表示

    基于语言的语义通信框架通过语言 - 图像编码和图像 - 语言解码，以及潜在扩散模型，实现了在嘈杂通信渠道中以较高的感知相似度重建预期图像的能力。

    May, 2024

  • 远程监视的代理驱动生成语义通信

    在 6G 时代，智能交通系统、数字孪生、远程监控有望成为普遍实践。为了解决无线网络中庞大数据量和频繁更新的挑战，本文提出了一种基于强化学习的新型代理驱动生成语义通信（A-GSC）框架。通过无缝地结合源信息的内在属性和任务相关的情境信息，本研究在语义通信领域进行了创新，同时引入了生成人工智能（GAI），实现了语义编码器和解码器的独立设计。在实证分析中，基于 CDNet2014 数据集验证了所设计模型的有效性，并证明了整体 A-GSC 框架在节能和重构准确性方面的性能提升。

    Apr, 2024