自适应语义标记选择用于 AI 原生目标导向通信

Apr, 2024

自适应语义标记选择用于 AI 原生目标导向通信

Adaptive Semantic Token Selection for AI-native Goal-oriented Communications

Alessio Devoto, Simone Petruzzi, Jary Pomponi, Paolo Di Lorenzo, Simone Scardapane

TL;DR我们提出了一种新颖的 AI 本地目标导向通信设计，利用变换器神经网络在带宽和计算的动态推理约束下。

Abstract

In this paper, we propose a novel design for AI-native goal-oriented communications, exploiting transformer neural networks under dynamic inference constraints on bandwidth and computation. Transformers have become the standard architecture for pretraining large-scale vision and text m

ai-native goal-oriented communications transformer neural networks dynamic inference constraints token selection mechanism interpretable-by-design models

发现论文，激发创造

变压器辅助的语义通信

通过使用 transformer 结构进行特征提取，以实现图像压缩和紧凑表示，从而优化语义通信的质量和带宽利用效率。

May, 2024

基于 Transformer 的文本语义通信的联合源信道编码

本文提出了一种文本语义传输框架，利用先进的自然语言处理技术对句子进行建模和编码，以实现鲁棒传输。该方法利用神经网络和注意机制在具有挑战性的无线环境中提供可靠高效的文本数据传输，通过对语义相似性和双语评估的模拟结果证明了该模型的优越性。

Jul, 2023

使用视觉 Transformer 进行实时语义通信演示

该论文提出了一种基于端到端深度神经网络结构的图像传输方法，利用现场可编程门阵列（FPGA）在实时无线信道上实现了原型测试，结果表明该系统在使用流行的 CIFAR-10 数据集时，比传统 256 正交幅度调制系统在低信噪比情况下表现更好。本文是第一篇使用视觉变换器实现和研究实时语义通信的工作。

May, 2022

具有任务不知晓的发射机和动态数据的深度学习技术支持的语义通信系统

本文提出了一种新的神经网络语义通信系统，包括语义编码网络和数据适应网络，通过传输学习中的域适应技术实现了针对动态数据环境下的任务不可知的图像传输，实验结果表明该方法在保持高性能的同时也能适应可观测数据集。

Apr, 2022

转变为绿色语义通信：更少能量，更多语义

语义通信是传输有意义和有效信息的目标，通过 “Energy-Optimized Semantic Loss”（EOSL）这种新型多目标损失函数，旨在解决平衡语义信息丢失和能量消耗的挑战，并通过基于 EOSL 的编码器模型选择在推理过程中实现了 90% 的能量节省和 44% 的语义相似性性能提升，为能源高效的神经网络选择和绿色的语义通信架构发展铺平了道路。

Oct, 2023

目标导向的语义通信与失真率弹性的联合通信和计算框架

基于率失真理论，该研究提出一种创新方法，分析沟通和语义压缩引起的失真，以评估其对人工智能模型性能的影响，并预先估计 AI 任务的经验性准确性，从而使目标导向的语义沟通问题成为可能。

Sep, 2023

学习多模态表示的自适应 Transformer

研究 transformers 中的注意机制对视觉和语言任务的扩展，并发展适应性方法来提高模型的可解释性和计算效率。具体地，研究注意范围、稀疏和结构化 dropout 等方法，以帮助了解模型对输入序列的复杂性感知和对不同模态的稀疏性偏好。

May, 2020

通用 AI 辅助的无需联合训练的安全语义通信生成

提出了一种利用生成人工智能辅助的语义通信系统，采用多模型提示的方法来实现准确的内容解码，并通过生成扩散模型辅助进行覆盖通信，最终实现源信息的成功和安全传输。

Sep, 2023

面向多模态数据语义通信的自适应编码机制

本文提出一个利用神经网络解决多模态语义通信问题的分布式框架，该框架包括传统的信道编码和解码，进一步建立了针对各种多模态语义任务的一般速率自适应编码机制。优化方案旨在在保持语义任务推理准确性的同时，最小化推理延迟。本文的数值结果表明，所提出的机制总体上表现优于传统通信和现有的语义通信系统。

May, 2023

注意力感知的协作推理中的语义通信

提出一种在边缘推理领域内，通过有效利用视觉 Transformer（ViTs）模型的通信高效的协同推理框架。该框架运用了轻量级的 ViT 模型在边缘设备上，服务器采用复杂的 ViT 模型，以提高通信效率并实现与服务器模型相当的分类准确性，通过关注度感知的补丁选择和熵感知的图像传输策略实现。实验证明，该协同推理框架可以将通信开销减少 68%，同时仅有最小的准确性损失。

Feb, 2024