本文介绍了一种新的基于循环神经网络的结构，能够智能地捕捉时间序列的季节性相关性，实现准确的多步预测，并在单个或多个序列数据上使用。在多序列情况下，我们还提出了一种新的贪婪递归过程，以在每个序列数据不足的情况下构建一个或多个预测模型。通过大量实验证明了我们提出的结构在单个序列和多个序列情况下的实用性。

Jul, 2022

基于大型语言模型的自然语言处理，我们设计了一个时间序列基础模型用于预测，在各种公共数据集上，模型的开箱即用的零射的表现接近各个数据集的最先进的监督预测模型准确度。模型基于对大型时间序列语料库进行预训练的修补解码器样式注意力模型，并且可以适用于不同的预测历史长度、预测长度和时间粒度。

Oct, 2023

本文概述了深度学习建模在时序数据领域的应用，介绍了单步和多步预测中通用的编码器和解码器的设计，分析了每一种方法如何加入时间信息以提高预测结果。接下来，介绍了深度学习和统计模型的混合模型在时间序列预测中的最新进展，最后讨论了深度学习如何为决策支持提供便利。

Apr, 2020

本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。

Jun, 2023

该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

Nov, 2018

提出了一种名为基于记忆的时序网络的深度学习模型，具有较强的可解释性，旨在解决传统方法无法捕捉复杂模式或在多重变量中融合信息的问题。

Sep, 2018

本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

May, 2018

提出了一种基于深度强化学习（Deep Q-Network, DQN）的序列到序列学习中，通过迭代的方式对输出序列进行解码的新型模式，旨在使解码器优先处理较为容易的序列部分，然后再处理较为困难的部分。

Oct, 2015

本文提出课程学习策略，用于训练循环神经网络，以尽量减小实际工作场景中训练和推理之间的差异，如在 MSCOCO 图片注释挑战赛中实测有效。

Jun, 2015

本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。

Nov, 2015