本文提出了一种扩展注意力模型，用于捕捉时间序列中的(伪)周期，并且可以部署在任何RNN之上，已在多个单变量和多变量时间序列预测任务中成功实现了最佳性能。

Mar, 2017

通过使用 Tensor-Train 分解来分解 RNN 中的高维输入矩阵，尽管架构比其他模型简单得多，但在分类实验中仍能够实现与最先进的模型相媲美的性能，这为建模高维序列数据提供了一种新的基础模块，并打开了从其他领域（如自然语言处理）传输表达和先进模型的多种可能性。

Jul, 2017

本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化，旨在减少参数数量并保持表达能力，研究表明，在序列建模方面，Tensor Train 表现最佳。

Feb, 2018

本文提出了一种高阶卷积LSTM模型和一种新的张量列车模块，可以有效地学习视频序列中的长期时空相关性，并通过结合时间上的卷积特征进行预测，通过张量列车分解降低了模型复杂度，取得了广泛应用和数据集上的最佳表现。

Feb, 2020

本篇论文提出了一种名为 Tensor Time Series Network 的新模型，它包括两个模块，解决了如何结合时间序列的关系网络和如何建模时间动态的隐含关系等问题，并在五个真实数据集上的实验结果证明了该方法的有效性。

Feb, 2021

本文介绍了一种新的基于循环神经网络的结构，能够智能地捕捉时间序列的季节性相关性，实现准确的多步预测，并在单个或多个序列数据上使用。在多序列情况下，我们还提出了一种新的贪婪递归过程，以在每个序列数据不足的情况下构建一个或多个预测模型。通过大量实验证明了我们提出的结构在单个序列和多个序列情况下的实用性。

Jul, 2022

通过距离相关度的多功能度量方法，我们研究了RNNs的组成部分与时间序列特征之间的联系并解释了它们的性能差异。我们发现RNN的激活层能够很好地学习时间序列的滞后结构，但在连续几个层中逐渐丧失了该信息，从而降低了具有较大滞后结构的序列的预测质量。我们还发现激活层无法充分建模移动平均和异方差时间序列过程，并通过热图可视化不同网络超参数选择下的激活层进行比较，以识别其对预测性能的影响。因此，我们的研究结果可以帮助从业者在无需进行实际训练和评估网络的情况下评估RNNs在给定时间序列数据上的效果。

Jul, 2023

RNN domain prominence has declined in Long-term Time Series Forecasting due to limitations with long look-back windows and forecast horizons, but the proposed SegRNN strategy improves forecast accuracy and inference speed, outperforming Transformer-based models while reducing runtime and memory usage.

Aug, 2023

传统的循环神经网络在时间序列任务中曾占据主导地位，但最近在各个时间序列任务中逐渐衰退，因此我们设计了一种高效的基于循环神经网络的时间序列任务模型RWKV-TS，该模型具有三个独特特点：（一）$O(L)$时间复杂度和内存使用的新型循环神经网络架构；（二）相较于传统循环神经网络更好地捕捉长期序列信息的能力；（三）具有高计算效率和有效规模扩展性的特点。通过大量实验，我们的RWKV-TS模型与最先进的基于Transformer或卷积神经网络模型相比具备竞争力的性能表现，特别值得注意的是RWKV-TS不仅性能可比，而且具有较低的延迟和内存使用。RWKV-TS的成功鼓励了在时间序列领域中进一步探索和创新，其具备竞争性能、低延迟和高效内存使用的特点使其成为未来时间序列任务研究的有希望方向。

Jan, 2024

本研究解决了RNN在捕捉长期依赖关系方面的局限，提出了一种新范式并行门控网络（PGN）。通过历史信息提取层，PGN显著缩短信息传播路径，结合时间建模框架TPGN，展现出卓越的性能和高效率，尤其在长范围时间序列预测任务中，取得了最新的最佳结果。

Sep, 2024