本文介绍了一种基于深度学习的故障检测方法，利用高精度的数据采集设备收集数据来训练模型，并使用长短时记忆网络和一维卷积神经网络来提取时序特征和频率信息进行故障预测，在 Kaggle 平台上的结果表明该方法具有更好的性能和解释性。

Sep, 2020

本研究提出了一种新的频率增强通道注意力机制，可以自适应地建模通道之间的频率相互依赖关系，避免傅里叶变换中出现的问题性周期性引起的高频噪声，目的是改善当前主流网络的预测能力，并显示出良好的性能。

Dec, 2022

本研究提出了基于 LSTM 网络的注意力机制来预测语音可懂度级别，并探讨了使用每帧调制谱来作为输入特征以及不同的融合策略（后期融合和加权池化融合）对语音可懂度预测任务的效果，结果表明 LSTM 网络可以有效地建模调制谱序列，而后期融合和加权池化融合的策略能够提供更好的结果

Feb, 2024

通过引入自注意机制分析数据的空间依赖性，本论文提出了一种机器学习方法用于预测缺失的岩屑曲线，并通过实验证实了其有效性和可行性，该方法将传统的 LSTM 神经网络与自注意机制相结合，降低了计算复杂度，提高了模型的效率。实验结果表明，与基于全连接神经网络和 LSTM 的传统曲线合成方法相比，该方法具有更高的准确性。该准确、高效且经济实惠的预测方法在工程应用中具有实用价值。

Jul, 2023

本文介绍了一种基于 FiLM 模型的深度学习算法，该算法使用 Legendre 多项式投影来近似历史信息，使用傅里叶投影来去除噪声，并且增加了一个低秩逼近来加速计算，实验结果表明这种算法大大提高了多元和单一长期预测的准确性，并且该方法可以作为一种普适的插件应用于深度学习中其他模块中以提高长期预测性能。

May, 2022

采用 F-Attention 模块替代卷积神经网络前端，在语音识别系统中全局关注频率可以显著减少相对字错率。

Jun, 2023

本文提出了几种技术来提高神经随机场语言模型 (TRF LMs) 的训练效率和性能。这些技术包括参数估计和模型构建等，采用这些技术可以成功地、高效地训练神经 TRF LMs，并且在强 LSTM LM 基线的基础上将 WER 相对降低了 4.7% 左右。

Oct, 2017

本文研究了结合循环和注意力的方法是否能够提高水文预测的精度并将 Temporal Fusion Transformer (TFT) 模型应用于水文学领域。在 2600 个以上的全球分布的集水区的实验表明，TFT 模型的表现超过了 LSTM 和 Transformers 模型，并可帮助获得流域产流过程的更多见解。

May, 2023

该研究针对深度神经网络在对抗样本上的脆弱性，提出了一种名为频率偏好控制模块的插件，它能够自适应地重新配置中间特征表示的低频和高频成分，以更好地利用频率进行鲁棒学习。实证研究表明，这种模块可以轻松地与任何对抗训练框架相结合，在不同体系结构和数据集上进一步提高模型的鲁棒性。此外，还进行了实验，以检验鲁棒模型的频率偏差如何影响对抗训练过程及其最终的鲁棒性，并揭示了有趣的见解。

Jul, 2023

本文提出了一种基于全非侵入式长短时记忆（LSTM）嵌入结构的递归神经网络方法，用于估算限制性项，该方法不仅强制状态轨迹到观察值，而且还在一定程度上充当了稳定器，并通过相关数据的强大力量，可以有效地进行再培训。实验结果表明，与 EKF 和 EnKF 相比，所提出的 LSTM 间隙处理方法在只有稀疏观察数据可用时产生了更准确的估计。

May, 2020