将大型语言模型和生成模型整合到新兴的语义交流模式中，我们提出了一种新的面向语言的语义交流框架（LSC）。在 LSC 中，机器使用人类语言消息进行交流，可以通过自然语言处理技术进行解释和操作以提高语义交流效率。通过引入三种创新算法：1）语义源编码（SSC）将文本提示压缩为捕捉提示的句法本质的关键词，同时保持它们的出现顺序以保持提示的上下文；2）语义通道编码（SCC）通过用更长的同义词替换关键词来提高对错误的鲁棒性；3）语义知识蒸馏（SKD）通过在上下文中学习听者的语言风格生成定制的提示。在一项渐进文本到图像生成的通信任务中，所提出的方法在减少传输次数的同时实现更高的感知相似度，并提高在嘈杂的通信信道中的鲁棒性。

Sep, 2023

提出了一种新颖的基于视觉 - 语言模型的跨模态语义通信系统，通过跨模态知识库、记忆辅助编解码和噪声注意模块来解决图像语义通信系统中的挑战，实验证实了该系统的有效性、适应性和鲁棒性。

May, 2024

该研究提出了一种基于多模态语义信息传输的图像传输方法，通过提取多模态语义信息并传输，接收方使用图像生成模型生成多张图像，并根据语义相似性进行选择。研究探索了评估原始图像和生成图像的语义特征相似性的新指标，并表明所提出的方法可促进通过移动网络进行各种服务应用的照片的传输与利用。

Apr, 2024

本文提出了一种基于强化学习的自适应语义编码方法 (RL-ASC)，通过卷积语义编码器将图像数据的类别、空间排列和视觉特征作为表征单元，将像素相似度替换为语义相似度来定义图像重建准则，通过自适应量化等级编码某个语义概念来增加速率 - 语义 - 感知性能作为奖励和生成式对抗网络 (GANs) 的语义解码器来重构图像，实验结果表明，与标准编解码器和其他深度学习基础图像编解码器相比，提出的 RL-ASC 方法具有噪声鲁棒性并能节约大量位量成本。

Aug, 2022

本研究提出了一种新颖的扩散引导框架的语意通信，通过高度压缩的语意信息来降低带宽使用，然后利用扩散模型从这些去噪的语意信息中学习合成语义一致的场景，从而生成保留语义信息的高质量图像。

Jun, 2023

本文提出了一种文本语义传输框架，利用先进的自然语言处理技术对句子进行建模和编码，以实现鲁棒传输。该方法利用神经网络和注意机制在具有挑战性的无线环境中提供可靠高效的文本数据传输，通过对语义相似性和双语评估的模拟结果证明了该模型的优越性。

Jul, 2023

该论文提出了一种新的通信系统框架，利用多模式生成模型的优势生成有前途的代沟能力。我们的主要研究方向是基于图像到文本转换和顺序传输单词令牌的通信系统设计，旨在为实际通信系统利用最先进的生成模型铺平新的道路。

Sep, 2023

研究使用潜变量从文本和图像提取语义信息来提高基于注意力机制的神经机器翻译效果，实验结果表明此方法在英德翻译任务中优于基线模型。

Nov, 2016

在未来的 6G 无线网络中，语义和效能方面的通信将起到基础作用，将意义和相关性融入传输中。本文提出了一个新的面向目标的语义通信框架，通过潜在空间对齐来减轻语义不匹配问题。我们提出了一种动态优化策略，适应相对表示、通信参数和计算资源，实现了高效能、低延迟、面向目标的能源储效率的语义通信。数值结果表明我们的方法在减轻设备间不匹配问题的同时，优化了能源消耗、延迟和效能。

Mar, 2024

语义通信在增强数据传输效率方面具有很大潜力。本文针对干扰情景与基准方案进行了比较研究，提出了一种抗干扰的语义通信方案。该方案基于神经网络（NNs）开发了收发机，它可以单独在接收端或发送端和接收端都集成信道状态信息（CSI）。我们还建立了一个综合损失函数来训练 IRSC 收发机，并采用动态机制来更新损失函数中各个部分的权重，以提高系统对用户的公平性。实验结果表明，所提出的 IRSC 方案能有效地学习抑制干扰，在低信噪比（SNR）环境中优于基准方案。

Apr, 2024