Nov, 2023

多任务深度学习中的联合感知与语义通信

PDF
TL;DR探索利用深度学习技术实现联合感知和通信，并通过引入语义通信进行扩展的论文。通过将编码器和解码器应用于无线信道上的发射机和接收机，实现源编码、信道编码、调制、解调、信道解码和源解码的联合操作。通过多任务学习对这些深度神经网络进行联合训练，在考虑数据和信道特性的基础上，通过引入任务分类器扩展到语义通信，从而在接收信号的标签分类中提高语义集成效果。该研究基于 CIFAR-10 数据集，并考虑加性白高斯噪声（AWGN）和瑞利衰落等信道效应，得出了多任务深度学习在实现高保真联合感知和语义通信方面的有效性。
deep learningjoint sensingcommunicationsneural networksemantic communications
发现论文，激发创造
  • 6G 是否将成为语义通信？来自任务导向和安全通信到集成感知的机遇和挑战

    通过多任务学习，本文探讨了以目标为导向和语义为基础的通信在下一代通信网络中的机遇和挑战。该方法使用深度神经网络，将专用的编码器部署在发送端，将多个任务特定的解码器共同部署在接收端，集中训练以处理包括语义信息保留、源输入重构和集成感知和通信在内的各种任务。通过将解码器部署在多个接收器上，采用去中心化学习，解决了通信负载和隐私问题，利用联邦学习技术在分布式节点之间分发模型更新。然而，该方法的有效性取决于所采用的深度学习模型的鲁棒性。我们审查了在训练和测试阶段可能产生的对抗性攻击的潜在漏洞，这些攻击旨在操纵编码器端的输入以及接收端空中接收到的信号，凸显了加固语义通信以防范潜在的多领域攻击的重要性。总体而言，在多任务学习框架中，任务导向通信、语义通信和集成感知与通信的共同鲁棒设计成为下一代网络系统中实现上下文感知、资源高效和安全通信的关键因素。

    Jan, 2024

  • 面向动态频谱访问的图像和无线数据多模态联合感知及任务导向通信

    本研究介绍了一种深度学习方法，利用多模态图像和频谱数据相结合，实现动态频谱访问，并识别潜在的发射器。通过使用边缘设备上的摄像头拍摄潜在对象（例如可能携带发射器的车辆），我们提出了一种协作系统，其中边缘设备与可信接收器之间进行有选择的信息通信并作出决策，以确定潜在的发射器是否存在。通过任务导向的通信，在发射器上使用编码器进行联合源编码、信道编码和调制，从而高效传输用于对象分类的精简维度的重要信息。同时，发送的信号可能会反射到物体并返回到发射器，从而实现目标感知数据的收集。然后，在发射器上对收集到的感知数据进行第二轮编码，通过任务导向的通信将降维后的信息传回融合中心。在接收端，解码器通过联合感知和任务导向的通信，执行识别发射器的任务。发射器的两个编码器以及接收器的解码器进行联合训练，实现了图像分类和无线信号检测的无缝集成。通过 AWGN 和 Rayleigh 信道模型，我们展示了所提出方法的有效性，在各种信道条件下取得了发射器识别的高准确性，并保持低延迟的决策过程。

    Dec, 2023

  • 具有任务不知晓的发射机和动态数据的深度学习技术支持的语义通信系统

    本文提出了一种新的神经网络语义通信系统，包括语义编码网络和数据适应网络，通过传输学习中的域适应技术实现了针对动态数据环境下的任务不可知的图像传输，实验结果表明该方法在保持高性能的同时也能适应可观测数据集。

    Apr, 2022

  • 多接收方任务导向的通信：多任务深度学习

    本论文研究了目标导向的通信，提出了一种多任务深度学习方法，通过在发射机上训练一个共同的编码器和在接收机上训练个体的解码器，实现了多任务的联合优化和与多个接收方的通信。该方法在 6G 网络的边缘提供了高效的资源分配，能够适应不同的信道条件，达到任务特定的目标同时最小化传输开销。通过多任务学习联合训练编码器和解码器，可以捕捉到任务之间共享的信息并相应地优化通信过程。利用无线通信的广播特性，多接收方的目标导向通信（MTOC）减少了在不同接收方完成任务所需的传输次数。通过对 MNIST、Fashion MNIST 和 CIFAR-10 数据集进行性能评估，证明了 MTOC 相对于单一任务导向通信系统在分类准确性和资源利用方面的有效性。

    Aug, 2023

  • 基于深度学习的语义通信系统

    提出了一种基于深度学习的语义通信系统 DeepSC，使用 Transformer 来重构语句的含义，最大化系统容量并最小化语义错误，同时采用迁移学习以适应不同的通信环境，并提供了一个新的度量标准，命名为句子相似性。深度语义通信系统在低信噪比的情况下表现更好，比传统的非语义信息传播的系统更稳健。

    Jun, 2020

  • 面向多模态数据语义通信的自适应编码机制

    本文提出一个利用神经网络解决多模态语义通信问题的分布式框架，该框架包括传统的信道编码和解码，进一步建立了针对各种多模态语义任务的一般速率自适应编码机制。优化方案旨在在保持语义任务推理准确性的同时，最小化推理延迟。本文的数值结果表明，所提出的机制总体上表现优于传统通信和现有的语义通信系统。

    May, 2023

  • 使用视觉 Transformer 进行实时语义通信演示

    该论文提出了一种基于端到端深度神经网络结构的图像传输方法，利用现场可编程门阵列（FPGA）在实时无线信道上实现了原型测试，结果表明该系统在使用流行的 CIFAR-10 数据集时，比传统 256 正交幅度调制系统在低信噪比情况下表现更好。本文是第一篇使用视觉变换器实现和研究实时语义通信的工作。

    May, 2022

  • 文本联合源通信深度学习

    本文考虑了在噪声信道上传输结构化数据（例如自然语言）的联合源编码和信道编码问题，提出了基于深度学习编码器和解码器以及将句子嵌入语义空间后进行联合编码的方法，旨在同时最小化端到端失真和字错误率。

    Feb, 2018

  • 通过分布式学习实现韧性多用户语义通信的语义对齐

    基于分布式学习和分层冻结的分割学习（SLF）方法在不同源数据和信道差异下，在分类准确率、重建误差以及从不对齐中理解预期语义的恢复时间方面，证实了在多个神经传输器之间实现语义对齐的有效性。

    Oct, 2023

  • 一对多语义通信系统：设计，实现，性能评估

    本研究提出了一种基于深度神经网络和迁移学习的语义通信系统，名为 MR_DeepSC，此系统解决了多用户情况下应用语义通信的问题，并在低信噪比条件下实现了最佳性能。

    Sep, 2022