MMSep, 2023

逐步文本到图像生成的序贯语义生成通信

PDF
TL;DR该论文提出了一种新的通信系统框架，利用多模式生成模型的优势生成有前途的代沟能力。我们的主要研究方向是基于图像到文本转换和顺序传输单词令牌的通信系统设计，旨在为实际通信系统利用最先进的生成模型铺平新的道路。
communication systemmulti-modal generative modelstext promptimage-to-text transformationword tokens
发现论文，激发创造
  • 生成 AI 遇见语义传播：通信任务的演变与革命

    通过深度生成模型在语义通信中的应用，揭示了其在未来通信框架中的革命性作用，为新兴应用和任务提供了前所未有的机会，并分析了专门针对通信系统开发生成模型的挑战和机遇。

    Jan, 2024

  • 生成语义通信：超越比特恢复的扩散模型

    本研究提出了一种新颖的扩散引导框架的语意通信，通过高度压缩的语意信息来降低带宽使用，然后利用扩散模型从这些去噪的语意信息中学习合成语义一致的场景，从而生成保留语义信息的高质量图像。

    Jun, 2023

  • 资源有限网络中基于多模态相似度估计的图像生成语义传播

    该研究提出了一种基于多模态语义信息传输的图像传输方法，通过提取多模态语义信息并传输，接收方使用图像生成模型生成多张图像，并根据语义相似性进行选择。研究探索了评估原始图像和生成图像的语义特征相似性的新指标，并表明所提出的方法可促进通过移动网络进行各种服务应用的照片的传输与利用。

    Apr, 2024

  • 具有能源效率下行语义生成通信的文本图像生成器

    本文提出了一种新颖的语义生成通信（SGC）框架，将生成用户与基站下载的文本提示相结合生成图像，而非生成用户直接从基站（BS）下载图像，并设计了一种生成用户选择算法来最小化 BS 和用户的总能耗，模拟结果证实与基线上所有非生成用户相比，我们所提出的算法将总能耗降低了高达 54％。

    Jun, 2023

  • 教授文本到图像模型进行交流

    通过语料上进行的实验结果证明，我们的方法有效且实用，能够生成与指定对话一致的逼真图像，并在多个度量指标上持续提高各种模型的性能。

    Sep, 2023

  • 基于 Transformer 的文本语义通信的联合源信道编码

    本文提出了一种文本语义传输框架，利用先进的自然语言处理技术对句子进行建模和编码，以实现鲁棒传输。该方法利用神经网络和注意机制在具有挑战性的无线环境中提供可靠高效的文本数据传输，通过对语义相似性和双语评估的模拟结果证明了该模型的优越性。

    Jul, 2023

  • 面向语言的图像传输的语义潜空间表示

    基于语言的语义通信框架通过语言 - 图像编码和图像 - 语言解码，以及潜在扩散模型，实现了在嘈杂通信渠道中以较高的感知相似度重建预期图像的能力。

    May, 2024

  • 面向语言的通信：文本到图像生成的语义编码和知识蒸馏

    将大型语言模型和生成模型整合到新兴的语义交流模式中，我们提出了一种新的面向语言的语义交流框架（LSC）。在 LSC 中，机器使用人类语言消息进行交流，可以通过自然语言处理技术进行解释和操作以提高语义交流效率。通过引入三种创新算法：1）语义源编码（SSC）将文本提示压缩为捕捉提示的句法本质的关键词，同时保持它们的出现顺序以保持提示的上下文；2）语义通道编码（SCC）通过用更长的同义词替换关键词来提高对错误的鲁棒性；3）语义知识蒸馏（SKD）通过在上下文中学习听者的语言风格生成定制的提示。在一项渐进文本到图像生成的通信任务中，所提出的方法在减少传输次数的同时实现更高的感知相似度，并提高在嘈杂的通信信道中的鲁棒性。

    Sep, 2023

  • 文本的双模态：视觉和文本生成预训练

    对于像素级语言模型，本论文介绍了一种新颖的预训练框架，通过在超过 4 亿个文档渲染的 RGB 图像上预训练，采用双模态训练方案，结合视觉数据和文本数据，通过下一个块预测和分类头预测进行训练，并展示了将视觉和文本数据结合的潜力及有效性。

    Apr, 2024

  • 语义绘图工程用于文本到图像的生成

    通过生成对抗网络（GAN）或变压器模型进行文本到图像生成。提出了一种方法，利用人工智能模型进行主题创造，并对实际绘画过程进行分类建模。通过将所有视觉元素转化为可量化的数据结构来创建图像，并与现有的图像生成算法进行语义准确性、图像可复现性和计算效率方面的有效性评估。

    Dec, 2023