我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

该论文提出了一种使用 Adaptive Robust Optimization 构建具有适应性权重的线性回归集成的新方法，以提高时间序列预测模型的准确性和鲁棒性，并演示了其在空气污染管理，能源消耗预测以及热带气旋强度预测等实际应用中优于其他竞争性集成技术的性能。

Apr, 2023

本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

Sep, 2018

本文提出了一种基于关注机制统计池化的深度说话人嵌入，在 NIST SRE 2012 和 VoxCeleb 数据集上的评估结果显示，它在说话人验证任务中比传统方法减少了 7.5% 和 8.1% 的等错误率，其适配长期说话特征变化的能力更强。

Mar, 2018

本文旨在探讨是否可以用直接的数据驱动方法有效地预测 COVID-19 病例数量，利用新型机器学习方法 Attention Crossing Time Series（ACTS）成功地在预测新冠病毒感染病例中胜出 18 项测试中的 13 项，表现出比传统的基于隔离 (如 SIR 和 SEIR) 的传染病传播模型更为优异的结果。

Oct, 2020

时间序列建模在工业过程中面临处理复杂、多方面且不断演化的数据特征的挑战。介绍了一种新的基于块的多步骤预测方法 ReWTS（称为 “roots”），可以捕捉多样动态的相互作用并提高预测性能。在挑战传统方法的同时，通过将训练数据分段并为每个段训练一个模型，实现模型的特殊化。此外，在推断过程中，通过优化过程根据最近的数据评估每个模型，并选择适当的模型组合以预测未来。该方法不仅捕捉了每个时间段的细微变化，而且相对于在所有数据上一次性进行训练的传统 “全局” 模型，更有效地适应了时间变化。通过利用挪威两个处理厂的两年数据进行比较分析，证明了 ReWTS 集成模型的优越性。在各种模型结构上，它在两个数据集上的均方预测误差方面始终优于全局模型，提高了 10-70% 的性能，并且具有更强的异常值容忍性。这种方法在为决策和控制系统开发自动化、适应性预测模型方面显示出潜力。

Mar, 2024

本篇论文研究了如何将基于 Exponential-Smoothing-Recurrent Neural Network (ES-RNN) 的模型和 ensemble learning 技术相结合，相比于其他基于统计或机器学习的 ensemble 方法，Feature-based Forecast Model Averaging (FFORMA) 对于 late data fusion 的情况表现最好，而另一种 ensemble 方法 Stacking 被证明能够很好地处理所有基本模型性能相似的情况。与 N-BEATS 作为基准相比，实验结果表明，该方法在预测效果上超越了 N-BEATS 作为基准的方法。研究表明模型平均是比模型选择和堆叠策略更稳健的集成方法。此外，实验结果显示梯度提升在实现 ensemble learning 策略时是优越的。

Mar, 2022

本文提出了一种扩展注意力模型，用于捕捉时间序列中的 (伪) 周期，并且可以部署在任何 RNN 之上，已在多个单变量和多变量时间序列预测任务中成功实现了最佳性能。

Mar, 2017

多变量时间序列异常检测中的基于深度神经网络的特征提取和集成技术及其在水流闭环数据集上的实验结果的改进方法。

Aug, 2023

本研究应用基于注意力的长短期记忆（LSTM）集成模型，使用来自 NSIDC、ERA5 重分析产品的海冰数据和大气、海洋变量，对未来一个月的月度海冰范围进行预测，并证明了其优于现有深度学习模型和基线模型。此研究表明数据驱动的方法在预测北极海冰变化方面具有潜力。

Jul, 2021