本文提出了一个自适应广义识别系统 - AGNet（自适应广义网络），用于分析海洋声学环境中的船舶辐射噪声识别。通过将固定的小波参数转化为可学习的精细参数，AGNet 学习了不同频率下的水下声音特征，并采用卷积神经网络并行卷积注意力模块作为分类器。实验表明，AGNet 在几个水下声学数据集上胜过所有基线方法，而且对于各种干扰因素表现出鲁棒性。

May, 2023

我们提出了一种基于图的关注机制模型（GRAM），通过对医学本体的层级信息进行补充，将医疗电子记录 (EHR) 描述成医学本体中的祖先组合形式，并通过自适应关注机制实现对医学本体的解释性学习，提高了医疗预测建模的准确性和解释性。

Nov, 2016

本文介绍了一种在计算机视觉中使用的名为 WaveNet 的基于小波变换的通道注意力机制，可有效提高特征保留能力和图像分类性能。

Nov, 2022

提出了一种基于 Deep Attention Recognition 的解决方案，通过认证的 UAV 中嵌入一个小型的深度网络，用可观测参数 SINR 和 RSSI 识别 Line-of-Sight (LoS)，Non-Line-of-Sight (NLoS) 情况下的攻击，并提出数据操作和多数投票技术来补充深度网络决策，探讨了 LSTM 和 Attention 层的影响以及数据不足情况下的精度测试，最后标准分类器测试表明，该算法精度在 LoS 和短距离 NLoS 条件下均高于 XGB 分类器。

Mar, 2023

本篇论文提出了一种名为 Light GRU 的改进型 GRU 神经网络模型，通过删除 reset gate 和使用 ReLU 激活函数，从而提高自动语音识别任务的训练效率和识别准确率。

Mar, 2018

本文提出了一种基于图神经网络的模块化框架，结合注意力机制在风力发电中对功率产量进行预测。结果表明，该模型明显优于多层感知机和双向 LSTM 模型，同时其性能与传统的图神经网络模型相当；同时，该框架可以根据需求进行灵活调整，提高了自适应能力。通过注意力权重的分析，表明该框架可以在风力发电数据分析中提供洞察力，特别是注意力网络可以意识到相邻涡轮之间的依赖以及与唤醒损失有关的物理直觉。

Jan, 2022

提出了一种基于小波图卷积循环网络的多尺度分析方法和深度学习方法相结合的 Traffic 预测模型，能够准确捕捉交通数据的空间相关性和多尺度结构，并在真实交通数据集上展现出具有解释性、强大的学习能力和竞争性的预测性能。

Jan, 2024

多头高斯自适应注意力机制（GAAM）和高斯自适应变换器（GAT）能够增强跨多种模态（包括语音、文本和视觉）的信息聚合，有效提升模型性能，特别是在处理高度非平稳数据时的准确度可以提升 20% 左右，并通过识别特征空间中的关键元素，进一步展示了模型的适应性和潜力。GAAM 不仅兼容基于点积的注意力模型，而且参数较少，展现了其对现有注意力框架的提升能力和潜在价值。通过实验证明，GAAM 在多种任务上具备出色的适应性和效果，包括情感识别、图像分类和文本分类，从而显示出其在处理多模态数据方面的健壮性和多功能性。此外，该研究还引入了重要性因子（IF），一种基于学习的度量指标，增强了 GAAM 方法训练模型的可解释性。总体而言，GAAM 代表了跨多模态的注意力模型在性能和可解释性方面的进展。

Jan, 2024

本研究旨在研究如何使用基于 Transformer 的模型来提高序列决策智能体的性能，并提出了 Working Memory Graph（WMG）代理程序，评估其在三种环境中的作用，并发现基于观测空间的因数组合 WMG 的 Transformer-based 架构可以显著提高其在 RL 环境中的样本使用效率。

Nov, 2019

该论文提出了双重注意力神经偏置结构，通过利用 Wake Words 来选择要执行的注意力网络分支，从而提高语音识别任务中的 Wake Words 识别准确性，节省运行时计算成本，并改善了其他方面的性能，同时降低了参数数量。

Apr, 2023