Jun, 2023

具有能源效率下行语义生成通信的文本图像生成器

PDF
TL;DR本文提出了一种新颖的语义生成通信（SGC）框架，将生成用户与基站下载的文本提示相结合生成图像，而非生成用户直接从基站（BS）下载图像，并设计了一种生成用户选择算法来最小化 BS 和用户的总能耗，模拟结果证实与基线上所有非生成用户相比，我们所提出的算法将总能耗降低了高达 54％。
semantic generative communicationt2i generatorsdownlink transmission energygenerative user selection algorithmtotal energy consumption
发现论文，激发创造
  • 逐步文本到图像生成的序贯语义生成通信

    该论文提出了一种新的通信系统框架，利用多模式生成模型的优势生成有前途的代沟能力。我们的主要研究方向是基于图像到文本转换和顺序传输单词令牌的通信系统设计，旨在为实际通信系统利用最先进的生成模型铺平新的道路。

    Sep, 2023

  • 面向语言的图像传输的语义潜空间表示

    基于语言的语义通信框架通过语言 - 图像编码和图像 - 语言解码，以及潜在扩散模型，实现了在嘈杂通信渠道中以较高的感知相似度重建预期图像的能力。

    May, 2024

  • 资源有限网络中基于多模态相似度估计的图像生成语义传播

    该研究提出了一种基于多模态语义信息传输的图像传输方法，通过提取多模态语义信息并传输，接收方使用图像生成模型生成多张图像，并根据语义相似性进行选择。研究探索了评估原始图像和生成图像的语义特征相似性的新指标，并表明所提出的方法可促进通过移动网络进行各种服务应用的照片的传输与利用。

    Apr, 2024

  • 远程监视的代理驱动生成语义通信

    在 6G 时代，智能交通系统、数字孪生、远程监控有望成为普遍实践。为了解决无线网络中庞大数据量和频繁更新的挑战，本文提出了一种基于强化学习的新型代理驱动生成语义通信（A-GSC）框架。通过无缝地结合源信息的内在属性和任务相关的情境信息，本研究在语义通信领域进行了创新，同时引入了生成人工智能（GAI），实现了语义编码器和解码器的独立设计。在实证分析中，基于 CDNet2014 数据集验证了所设计模型的有效性，并证明了整体 A-GSC 框架在节能和重构准确性方面的性能提升。

    Apr, 2024

  • 生成语义通信：超越比特恢复的扩散模型

    本研究提出了一种新颖的扩散引导框架的语意通信，通过高度压缩的语意信息来降低带宽使用，然后利用扩散模型从这些去噪的语意信息中学习合成语义一致的场景，从而生成保留语义信息的高质量图像。

    Jun, 2023

  • 具有语义 - 空间感知的 GAN 图像生成

    该论文介绍了一种基于生成式对抗网络的图像生成方法，引入了一种简单有效的语义 - 空间感知块，学习语义自适应变换，并在弱监督方式下学习语义掩膜，从而在保持视觉保真度的同时，能够对输入文本精准对齐。

    Apr, 2021

  • 使用深度生成模型重新考虑多用户语义通信

    在这篇文章中，我们提出了一个新的生成语义通信框架，针对多用户场景进行了优化，利用扩散模型在接收方填充丢失的信息，通过彻底的实验评估展示了这种创新性的扩散模型的能力和所提出框架的有效性，为基于 GenAI 的下一代通信发展指明了方向。

    May, 2024

  • 基于 Transformer 的文本语义通信的联合源信道编码

    本文提出了一种文本语义传输框架，利用先进的自然语言处理技术对句子进行建模和编码，以实现鲁棒传输。该方法利用神经网络和注意机制在具有挑战性的无线环境中提供可靠高效的文本数据传输，通过对语义相似性和双语评估的模拟结果证明了该模型的优越性。

    Jul, 2023

  • 面向语言的通信：文本到图像生成的语义编码和知识蒸馏

    将大型语言模型和生成模型整合到新兴的语义交流模式中，我们提出了一种新的面向语言的语义交流框架（LSC）。在 LSC 中，机器使用人类语言消息进行交流，可以通过自然语言处理技术进行解释和操作以提高语义交流效率。通过引入三种创新算法：1）语义源编码（SSC）将文本提示压缩为捕捉提示的句法本质的关键词，同时保持它们的出现顺序以保持提示的上下文；2）语义通道编码（SCC）通过用更长的同义词替换关键词来提高对错误的鲁棒性；3）语义知识蒸馏（SKD）通过在上下文中学习听者的语言风格生成定制的提示。在一项渐进文本到图像生成的通信任务中，所提出的方法在减少传输次数的同时实现更高的感知相似度，并提高在嘈杂的通信信道中的鲁棒性。

    Sep, 2023

  • 合作语义通信网络中图像传输的优化

    本研究开发了一种语义通信框架用于图像传输；引入多模态度量方法对比提取得到的语义信息与原始图像之间的相关性，以最小化每个服务器的传输延迟同时满足用户 ISS 需求为目标，提出了基于价值分解的最大熵多智能体强化学习算法以解决资源块的分配问题，在模拟实验中将传输延迟降低至传统多智能体强化学习的 16.1%。

    Jan, 2023