NAST：非自回归时空 Transformer 用于时间序列预测

Feb, 2021

NAST：非自回归时空 Transformer 用于时间序列预测

NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting

Kai Chen, Guang Chen, Dan Xu, Lijun Zhang, Yuyao Huang...

TL;DR本研究针对 Transformer 在时间序列预测中所面临的累积误差和时延问题以及在空间 - 时间依赖性问题上的挑战，提出了一种新型的非自回归 Transformer 架构并引入了新颖的空间 - 时间关注机制，以学习到一个时间影响图来填补空间 - 时间依赖之间的差距，实验结果表明在多样化的自我中心未来定位数据集上，该模型具有表现优异的实时性和准确性。

Abstract

Although transformer has made breakthrough success in widespread domains especially in Natural Language Processing (NLP), applying it to time series forecasting is still a great challenge. In time series forecasting

transformer time series forecasting non-autoregressive spatial-temporal attention mechanism state-of-the-art performance

发现论文，激发创造

非自回归流式 Transformer 用于同声翻译

提出了一种非自回归流式 Transformer（NAST）用于同时机器翻译（SiMT），通过通过一种新的编码器和非自回归解码器拓宽了读 / 写策略并降低延迟损失，实验证明 NAST 优于以往自回归 SiMT 基线模型。

Oct, 2023

使用连接时序分类的端到端非自回归神经机器翻译

提出基于 CTC 的非自回归结构，可用于神经机器翻译，相比其他的非自回归结构，本文所提出的模型可以进行端到端的训练，并在 WMT 英罗马尼亚和英德数据集上实现了可比的翻译质量及较大的速度提升。

Nov, 2018

交通流预测的自适应图空时转换网络

该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

Jul, 2022

GTrans: 带有图嵌入的时空自回归变换器用于极端事件的实时预测

提出了一种名为 GTrans 的时空模型，该模型将数据特征转换为图嵌入，并使用变压器模型预测时间动态，并能够对极端事件进行预测，可在社交网络，道路交通，物理和化学属性预测等领域应用。

Jan, 2022

利用对比学习优化非自回归变换器

本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

May, 2023

非自回归 Transformer 模型的学习

本文分析了非自回归 Transformer 的学习挑战，提出统一视角来理解存在的成功。研究表明，我们的视角可以解释 NAT 学习中的现象并指导新的训练方法的设计。

Jun, 2022

将句法和语义结构丰富非自回归变压器用于神经机器翻译

本研究旨在提高非自回归模型的神经机器翻译的效率和性能，通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归 Transformer 模型。实验证明，该模型在速度上显著提高，与现有的多个最先进的非自回归模型相比，在保持翻译质量的同时表现突出。

Jan, 2021

Stecformer: 空间 - 时间编码叠加变换器用于多元长期时间序列预测

本研究提出了一种完整的解决方案，包括特征提取和目标预测，旨在解决多变量长期时间序列预测中的空间特征提取和不同预测时期的一致性问题。新的方法称为 “时空编码串联变压器（Stecformer）”，其采用高效的时空编码提取器和级联解码预测器来改善基线模型的性能，并在五个基准数据集上实现了与基线模型可比较的最先进性能。

May, 2023

时空自适应嵌入使得 Vanilla Transformer 成为交通预测的最佳模型

智能交通系统中，精确的交通预测是一项重要挑战。本研究提出了一种名为时空自适应嵌入的新型组件，可以通过使用传统的 Transformer 模型取得出色的结果，该模型在五个实际交通预测数据集上实现了最先进的性能，进一步实验证明时空自适应嵌入在交通预测中起着关键作用。

Aug, 2023

具有注意力联邦聚合的时间序列股票预测的 Transformer

我们提出了一种关注的联邦变压器，用于时间序列股票预测，在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。

Jan, 2024