深度 Transformer 模型用于时间序列预测:以流感流行为例
通过对深度学习时间序列模型进行解释,我们可以了解模型的行为和从原始数据中学习到的模式,以便进行实时决策。本研究使用最新的局部解释方法解释了最先进的时间序列模型,并通过收集三年的美国县级每日病例数据来验证了该方法的可行性。我们利用 13 个输入特征和过去两周的数据来预测未来两周的 COVID-19 感染情况,提出了一种对人口年龄组高度动态多变的感染数据进行预测敏感性评估的创新方法,并将我们的框架应用于交通和电力数据集,证明了该方法的通用性。
Jan, 2024
本文提出了一种名为 CALI-Net 的神经转移学习框架,可以将历史流感预测模型应用于与 COVID-19 共存的新场景中,成功实现对疫情的有效预测。
Sep, 2020
本研究使用机器学习方法,结合多种数据源包括谷歌搜索、社交媒体数据和卫生部门数据等,提供实时和预测性的美国流感活动估计。通过将每个数据源产生的流感样病例(ILI)活动情况独立生成的多个估计值结合起来,使用机器学习集成方法生成准确的每周 ILI 预测,为 CDC ILI 报告发布前的四周提供预测。结果证明,将不同数据源(包括社交媒体和众包数据)纳入流感预测可以获得极大的洞见。
Aug, 2015
本文利用时间序列预测技术对匈牙利的水痘病例进行模拟预测,演示 LSTM 模型在县级预测方面的表现优于其他模型,SARIMAX 模型在国家级预测方面的表现最佳。同时,我们的数据预处理方法的表现也优于传统的数据预处理方法。
Sep, 2022
在这项工作中,我们反思了 Transformer 组件的能力,并重新设计了 Transformer 架构,而无需对基本组件进行任何调整。我们提出了 iTransformer 模型,这个模型通过反转注意力机制和前馈网络的职责,以实现对多变量时间序列的预测。iTransformer 模型在几个真实世界的数据集上取得了一致的最先进表现,进一步增强了 Transformer 家族的性能、广泛适用于不同变量、更好地利用任意回望窗口,成为时间序列预测的基本骨干的一个很好的替代方案。
Oct, 2023
本研究利用多任务学习,建立了一种针对多个国家的流感预测模型,并提出了解决搜索查询和如何有效地利用搜索查询的问题的方法。实验表明,与基准组相比,我们的模型通过利用搜索查询和多任务学习显著提高了流行性感冒预测的性能。
Jul, 2021
我们提出了一种关注的联邦变压器,用于时间序列股票预测,在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。
Jan, 2024
本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计,它基于两个关键组件:时间序列划分为子序列级别的片段,这些片段作为输入标记传递给 Transformer;通道独立性,其中每个通道包含一个单变量时间序列,其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性,超越 SOTA Transformer-based models,并在自我监督预训练任务中实现出色的微调性能。
Nov, 2022
测试和评估在时间序列数据上应用 Transformer 模型的有效性,通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题,同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。
Aug, 2021