本文提出了一种新颖的 Decoder-Encoder Attention 用于上下文对齐的神经预测方法，结合位置编码和基于自我注意的解码器方案，旨在改进当前最先进的前沿神经预测方法，并降低 MQ-Forecaster（Wen 等，2017）模型的过多预测变量。
Sep, 2020
通过使用数据挖掘和神经网络构建早期和晚期融合的混合模型，我们展示了一种有效的方法，可以提高在大型语料库中连续空间检索的性能
本文提出了一种基于自动图学习的注意力多图神经网络 (A2GNN)，旨在挖掘时间序列多实体预测中的显式和隐式关系，并使每个实体动态注意其首选关系，实验表明 A2GNN 优于现有的一些最新方法。
Feb, 2022
本研究提出了一种新颖的基于 BERT 的多问题机器阅读理解体系结构，将命名实体识别作为一个多问题 MRC 任务，旨在解决大规模电子商务属性（或实体）在高性能和优化训练和推理运行时从非结构化文本中提取的问题，该模型在三个 NER 数据集上获得了比 NER-SQMRC 框架模型更快的训练和推理时间，并且保持与单个问题 MRC（NER-SQMRC）性能相当。
May, 2022
本文提出了一种名为 “Multi-Query Transformer” 的多任务模型，利用多个任务相关的查询来进行跨任务推理，通过查询在多个任务之间建立联系，使得跨任务交互变得简单高效，并在两个密集预测数据集（NYUD-v2 和 PASCAL-Context）上取得了最优效果。
该研究提出了一种具有线性复杂度的 Context Neural Network 方法，可以有效地为时间序列模型提供和其邻近时间序列相关的上下文见解，从而丰富预测模型，解决全局模型的局限性，并且对于大型数据集具有可计算性可扩展性。
May, 2024
我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。
Feb, 2024
测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。
Aug, 2021
我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。
Nov, 2023
本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。
Sep, 2018