Dec, 2023

一种基于知识蒸馏的自动调制识别的卷积变压器框架

PDF
TL;DR通过引入卷积链接信号变换器 (ClST) 和信号知识蒸馏 (SKD) 的新型神经网络和知识蒸馏方法，提出了用于自动调制识别 (AMR) 的轻量级神经网络 KD-CNN 和 KD-MobileNet，实现在微型通信设备上的部署并获得更高的识别准确率和较少的网络复杂性。
deep learningautomatic modulation recognitionconvolution-linked signal transformersignal knowledge distillationneural networks
发现论文，激发创造
  • CMKD: 基于 CNN/Transformer 交替模型知识蒸馏的音频分类

    本文研究了卷积神经网络和自注意力机制模型之间的交互作用，通过知识蒸馏将它们作为师生模型相互训练，在 FSD50K、AudioSet 和 ESC-50 等数据集上取得了新的最好成绩。

    Mar, 2022

  • 利用自知识蒸馏引导帧级 CTC 对齐

    通过引入自知识蒸馏方法，解决了自动语音识别中教师 - 学生模型帧级对齐不一致的问题，该方法使用共享编码器层并将子模型作为学生模型，提高了资源效率和性能，并通过实验证明了所提方法通过减少对齐不一致来改善性能。

    Jun, 2024

  • 快速深度学习自动调制识别

    本文研究了深度学习算法在从子采样数据中自动识别无线通信信号调制类型的可行性和有效性，提出了三种神经网络架构进行分类，并探讨了减少训练时间的算法和技术，实现了在高信噪比下的在线分类。

    Jan, 2019

  • 通过强健的全局特征提取增强自动调制识别

    自动调制识别在无线通信系统中起着关键作用，我们提出了一种名为 TLDNN 的混合深度框架，将 Transformer 和 LSTM 的结构相结合，通过自注意机制建模信号序列的全局相关性以增强时间依赖性的捕捉，并采用段替换（SS）的数据增强策略来提高模型对调制相关特征的鲁棒性，实验结果表明我们的方法在广泛使用的数据集上取得了最先进的性能并在复杂性方面具有显著优势。

    Jan, 2024

  • 环境反漏信号检测的深度迁移学习

    本文提出了一种基于深度迁移学习 (CNN) 和最小误差概率标准 (MEP) 的 DTL 检测框架，旨在消除通道估计需求以提高 AmBC 系统的性能，结果表明该方法的误码率性能可与完美 CSI 的最优检测方法相媲美。

    Sep, 2020

  • 跨架构蒸馏用于人脸识别

    该研究提出了两种解决方案，即 URFM 和 APT，帮助在人脸识别的跨体系结构知识蒸馏中解决教师和学生之间的差异性空间信息以及教师网络在处理蒸馏特定知识方面的能力不足的问题。

    Jun, 2023

  • SCTransNet：红外小目标检测的空间 - 通道交叉变换网络

    提出了一种基于空间通道交叉变换器网络（SCTransNet）的红外小目标检测方法，利用跨通道变换器块（SCTBs）以及长程跳跃连接来加强目标和背景之间的语义差异，有效地检测小尺度的红外目标。

    Jan, 2024

  • 知识蒸馏的共享分类器的自适应教学

    通过共享分类器实现自适应教学的知识蒸馏方法（ATSC），能够在网络参数数量仅略有增加的情况下，显著提升学生网络的性能，并在单教师和多教师场景下，在 CIFAR-100 和 ImageNet 数据集上实现了最先进的结果。

    Jun, 2024

  • 短期记忆卷积

    本文提出了一种名为 Short-Term Memory Convolution（STMC）的卷积神经网络方法，用于音频领域中的实时处理，该方法能够以低延迟比 LSTM 网络更稳定快速地进行训练和推理，实现了语音分离和声场分类的更快速度和更高的准确性。

    Feb, 2023

  • 利用相关性知识蒸馏监测人体姿态和无线电

    本文提出一个基于 Radio Frequency Sensing 技术和 Correlated Knowledge Distillation 理论的轻量级人体姿态监测系统，通过训练多支教师和学生网络以获得准确、轻量级的姿态估计，并探究 RF-visual 信号相关性。

    May, 2023