May, 2016

无线系统同步学习的注意力模型：Radio Transformer Networks

PDF
TL;DR我们使用学习到的注意模型和适用于无线电领域的空间变换引入新的适当变换，通过优化分类精度、稀疏表示和正则化来学习一个定位网络，能够在零知识下对无线电信号进行盲同步和标准化，从而在信噪比方面胜过不带注意力机制的相同系统。
发现论文，激发创造
  • 卷积无线电调制识别网络

    本文研究了卷积神经网络在复杂时间无线电信号领域中的应用。我们比较了使用 naively learned 特征和使用专家特征进行无线电调制分类的有效性，并展示了显著的性能提升。我们表明在低信噪比下，使用深卷积神经网络进行大规模且密集编码时间序列的盲目时序学习是可行的，是该任务的强有力候选方法。

    Feb, 2016

  • 基于注意力机制的神经网络用于无线信道估计

    本文提出一种利用自注意机制实现正交频分复用波形下行链路信道估计的新型混合编码器 - 解码器结构（称为 HA02），利用 3GPP 信道模型进行模拟，结果显示其在信道估计方面表现更优秀。

    Apr, 2022

  • 自监督变压器架构用于无线接入网络变化检测

    本研究提出一种基于自我监督学习框架的方法，利用自我关注和自我蒸馏技术检测 Performance Measurement 数据中的变化，达到 RAN 网络监测的目的，并在真实数据集上实现了 4% 的性能提升。

    Feb, 2023

  • 通过强健的全局特征提取增强自动调制识别

    自动调制识别在无线通信系统中起着关键作用，我们提出了一种名为 TLDNN 的混合深度框架，将 Transformer 和 LSTM 的结构相结合，通过自注意机制建模信号序列的全局相关性以增强时间依赖性的捕捉，并采用段替换（SS）的数据增强策略来提高模型对调制相关特征的鲁棒性，实验结果表明我们的方法在广泛使用的数据集上取得了最先进的性能并在复杂性方面具有显著优势。

    Jan, 2024

  • 学习连续时间空间中的自修正关注力及在序列推荐中的应用

    本研究提出了一种新型的自调节注意力网络来学习动态用户偏好，并在三个大规模真实数据集上实验表明，该模型可以实现最先进的顺序推荐性能。

    Mar, 2022

  • 遥感数据融合的不完全多模态学习

    本文提出了一种新颖的不完整多模态学习模型，结合双向 LSTM 注意力和掩蔽自注意机制来收集多模态信号，利用重构和对比损失来促进预训练中的融合，能在处理数据不完整输入时达到当前最佳性能水平。

    Apr, 2023

  • 基于循环注意力模型的神经机器翻译

    通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。

    Jul, 2016

  • 无线通信的多模态变压器：波束预测案例研究

    本文介绍了一种多模态变压器深度学习框架，用于辅助感知的波束预测。通过使用卷积神经网络从一系列图像、点云和雷达原始数据中提取特征，并使用变压器编码器学习不同模态和时间实例之间的隐藏关系，生成下一级特征提取的编码向量。通过在不同模态的组合上进行监督学习来训练模型，实验结果表明，使用图像和 GPS 数据训练的解决方案在预测波束的距离准确率方面表现最佳，为 78.44％，并具有有效的推广性。

    Sep, 2023

  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024

  • 不规则采样时间序列的多时间注意力网络

    本篇论文针对电子健康档案中所涉及的稀疏、不规则采样、多变量的生理时序数据提出一种名为 Multi-Time Attention Networks 的多时间注意网络的深度学习框架，并使用多个数据集进行内插和分类任务的性能研究，结果表明该框架的性能优于许多基线和最近提出的模型，同时提供了比当前最先进方法更快的训练速度。

    Jan, 2021