PGN：RNN的新继任者在长范围时间序列预测中的有效性
本文提出了一种扩展注意力模型，用于捕捉时间序列中的(伪)周期，并且可以部署在任何RNN之上，已在多个单变量和多变量时间序列预测任务中成功实现了最佳性能。
Mar, 2017
HOT-RNN是一种用于多元预测的新型神经网络序列架构，通过学习非线性动态来解决高阶相关性和误差传播敏感性问题，并使用张量列车分解来减少参数。在模拟环境和实际时间序列数据上，相对于一般RNN和LSTM体系结构，它在长期预测方面表现出5%到12%的改进。
Oct, 2017
本文通过详实的实证研究和开源软件框架介绍了现有基于循环神经网络的预测模型，提出了针对这些模型使用的最佳实践和指导方针。研究发现，当数据集的时间序列具有同质季节模式时，RNN能够直接模拟季节性；否则，建议事先对数据进行季节性去趋势处理。通过与ETS和ARIMA模型的比较，研究表明，实现了（半）自动化的RNN模型在许多情况下是可以竞争使用的。
Sep, 2019
本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器-解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。
Jan, 2023
本文提出了一种新颖的深度学习网络结构 MPPN，用于长期时间序列预测，该结构采用多分辨率语义单元、多周期模式挖掘和通道自适应模块来捕捉时间序列的本质模式，并提出了基于熵的评估方法来提高预测精度。在九个真实世界基准测试中，实验结果表明，MPPN显著优于现有的基于 Transformer、分解和采样的长期时间序列预测方法。
Jun, 2023
通过距离相关度的多功能度量方法，我们研究了RNNs的组成部分与时间序列特征之间的联系并解释了它们的性能差异。我们发现RNN的激活层能够很好地学习时间序列的滞后结构，但在连续几个层中逐渐丧失了该信息，从而降低了具有较大滞后结构的序列的预测质量。我们还发现激活层无法充分建模移动平均和异方差时间序列过程，并通过热图可视化不同网络超参数选择下的激活层进行比较，以识别其对预测性能的影响。因此，我们的研究结果可以帮助从业者在无需进行实际训练和评估网络的情况下评估RNNs在给定时间序列数据上的效果。
Jul, 2023
RNN domain prominence has declined in Long-term Time Series Forecasting due to limitations with long look-back windows and forecast horizons, but the proposed SegRNN strategy improves forecast accuracy and inference speed, outperforming Transformer-based models while reducing runtime and memory usage.
Aug, 2023
该论文提出了一种用于时间序列预测的自上而下的金字塔式递归神经网络TPRNN，通过构建不同尺度的子序列并执行多尺度信息交互模块，模拟了时间序列中多尺度时间模式的完整建模，实验证明TPRNN在七个真实世界数据集上取得了领先水平，相对最佳基准线平均提高了8.13%的MSE精度。
Dec, 2023
提出了一种名为SutraNets的新方法，用于神经概率预测长序列时间序列。SutraNets使用自回归生成模型将长序列的可能性因子分解为条件概率的乘积。在生成长序列时，大多数自回归方法会遭受有害错误积累以及对建模长距离依赖关系的挑战。SutraNets将长期的单变量预测视为低频子序列上的多元预测。自回归方式在时间和子序列之间进行，以确保一致的多元（因此也是高频的单变量）输出。由于子序列可以使用较少的步骤生成，SutraNets有效减少了错误积累和信号路径距离。实验证明SutraNets在六个真实世界数据集上显著提高了预测准确性，包括在变化子序列数量以及加大底层序列模型的深度和宽度的情况下。
Dec, 2023
传统的循环神经网络在时间序列任务中曾占据主导地位，但最近在各个时间序列任务中逐渐衰退，因此我们设计了一种高效的基于循环神经网络的时间序列任务模型RWKV-TS，该模型具有三个独特特点：（一）$O(L)$时间复杂度和内存使用的新型循环神经网络架构；（二）相较于传统循环神经网络更好地捕捉长期序列信息的能力；（三）具有高计算效率和有效规模扩展性的特点。通过大量实验，我们的RWKV-TS模型与最先进的基于Transformer或卷积神经网络模型相比具备竞争力的性能表现，特别值得注意的是RWKV-TS不仅性能可比，而且具有较低的延迟和内存使用。RWKV-TS的成功鼓励了在时间序列领域中进一步探索和创新，其具备竞争性能、低延迟和高效内存使用的特点使其成为未来时间序列任务研究的有希望方向。
Jan, 2024