本文提出了一种面向视频问答任务的端到端语义通信系统 VideoQA-SC，通过有效的视频语义提取和高效稳健的语义传输，绕过接收端的视频重构，实现了在嘈杂或衰落无线信道上直接完成视频问答任务，并实验证明在广泛的信道条件和带宽限制下，VideoQA-SC 在提高回答准确性的同时，节省了近 99.5% 的带宽。

May, 2024

该论文提出了一种新型的 Transformer 模型，将文本和视频显式分离，通过注意力机制了解三种角色的内部和内部角色之间的相关性，以在不同级别上寻找识别特征，初步结果表明，在所有的指标中，我们的方法都超过了当前最先进的方 法，在两个指标上也超过了两种最先进的方法。

Jun, 2022

本文提出了一种基于强化学习的自适应语义编码方法 (RL-ASC)，通过卷积语义编码器将图像数据的类别、空间排列和视觉特征作为表征单元，将像素相似度替换为语义相似度来定义图像重建准则，通过自适应量化等级编码某个语义概念来增加速率 - 语义 - 感知性能作为奖励和生成式对抗网络 (GANs) 的语义解码器来重构图像，实验结果表明，与标准编解码器和其他深度学习基础图像编解码器相比，提出的 RL-ASC 方法具有噪声鲁棒性并能节约大量位量成本。

Aug, 2022

本研究中，我们通过引入场景图表示图像标题，利用图注意力网络构建了一个双编码器的图像 - 文本匹配模型，能高效地编码物体 - 属性和物体 - 物体的语义关系，通过提供对图神经网络的强关系归纳偏置进行学习。我们的模型在两个重要的图像 - 文本检索基准数据集 Flickr30K 和 MSCOCO 上进行实验，证明了相对于计算成本高的交叉注意方法，CORA 在召回得分上具有优势，同时实现了双编码器的快速计算速度。

Jun, 2024

提出了一种新型的语义感知通信体系结构，称为 iSAC，它具有投影语义编码器和生成对抗性模仿学习等组件，旨在有效地传输、学习和解释源和目标用户之间的隐藏信息，从而提高用户的体验质量（QoE）。与现有解决方案相比，iSAC 需要更少的通信和计算资源，并且对通信丰富的语义含义和关系进行扩展缩放。

Jun, 2023

本文提出了使用自然语言处理（NLP）中广泛使用的抽象意义表述（AMR）来建立更具有语言信息的图片抽象表述（称为视觉 AMR 图），并通过重复试验和分析表明，我们可以重用现有的文本到 AMR 分析器来分析图像到 AMRs 的转换。

Oct, 2022

在 6G 时代，智能交通系统、数字孪生、远程监控有望成为普遍实践。为了解决无线网络中庞大数据量和频繁更新的挑战，本文提出了一种基于强化学习的新型代理驱动生成语义通信（A-GSC）框架。通过无缝地结合源信息的内在属性和任务相关的情境信息，本研究在语义通信领域进行了创新，同时引入了生成人工智能（GAI），实现了语义编码器和解码器的独立设计。在实证分析中，基于 CDNet2014 数据集验证了所设计模型的有效性，并证明了整体 A-GSC 框架在节能和重构准确性方面的性能提升。

Apr, 2024

本文提出了一个视频字幕生成系统，包括一种新颖的基于对象关系图的编码器和一种有效的训练策略，其中使用了教师推荐学习方法和外部语言模型来解决长尾问题，并在多个基准测试中取得最好的性能，实验证明我们的系统是有效的。

Feb, 2020

本研究提出了一种新颖的扩散引导框架的语意通信，通过高度压缩的语意信息来降低带宽使用，然后利用扩散模型从这些去噪的语意信息中学习合成语义一致的场景，从而生成保留语义信息的高质量图像。

Jun, 2023

本文提出了基于物体感知的 Transformer 模型 Object-aware Transformers，使用边界框和物体标签来引导训练过程，将对象表示法引入视频 - 语言架构中，从而提高了视频文本匹配任务的性能。

Dec, 2021