本文提出了一种基于线性模型的高效时间序列预测模型，其核心组成部分包括：（1）将单通道和多通道数据的不同语义进行集成，对数据进行联合预测；（2）使用一种新的损失函数来替代传统的 MSE 和 MAE 损失以达到更高的预测精度。在广泛使用的基准时间序列数据集上，我们的模型不仅性能优于当前的 SOTA，而且速度提高了 10 倍，并且比最新的 SOTA 模型参数更少。

May, 2023

交通流量预测在长期流式网络中的持续学习方面，我们通过将交通流量分割为多个同质化群体并分配专家模型负责特定群体这一创新的 Traffic Forecasting Mixture of Experts (TFMoE) 方法，强调了其在防止灾难性遗忘方面的有效性和效率。

Jun, 2024

LTSF-DNODE is proposed as a solution to the limitations of Linear-based LTSF models and Transformer-based approaches, showing better performance on various real-world datasets and exploring the impacts of regularization in the NODE framework for each dataset.

Nov, 2023

本研究设计了一个掩模时间序列实验来验证注意力模块在捕捉跨时间依赖方面的有效性，并提出了一种名为 Client 的先进模型，它采用线性模块学习趋势信息和注意力模块捕捉跨变量依赖关系，并将位置和解码器模块进行了简化，Client 通过加入非线性和跨变量依赖关系，使其与传统线性模型和基于 Transformer 的模型不同。实验发现，Client 在九个真实数据集上的表现最优，并且计算时间和内存消耗最少。

May, 2023

复杂多元时间序列预测中，通过简单的线性模型结构来整合时间嵌入和空间信息的 SpatioTemporal-Linear 框架优于深度学习技术中的线性模型和 Transformer 模型在多种观测和预测时长的数据集上的性能表现。

Dec, 2023

本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。

Jun, 2023

通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

May, 2022

本文提出了一种两个阶段的 StableMoE 方法来解决现有的学习路由 Moe 方法中的路由波动问题，并通过在语言模型和多语言机器翻译上的实验验证了该方法的有效性。

Apr, 2022

该论文研究了在应用 Transformer 进行长期时间序列预测（LTSF）任务时的三个关键问题：时间连续性、信息密度和多通道关系，并提出了三种创新解决方案，构建了一种名为 PETformer 的新模型，通过广泛的实验证明 PETformer 在 LTSF 任务中取得了当前公共数据集上的最先进性能，优于其他所有现有模型，显示了 Transformer 在 LTSF 领域仍具有强大的能力。

Aug, 2023

引入了 Mixture of LoRA Experts (MoLE) 方法，利用分层控制和无限制的分支选择，实现了对 LoRA 的优化融合性能和弹性组合能力的提升。通过在自然语言处理（NLP）和视觉与语言（V&L）领域进行广泛的实验评估，证实了 MoLE 的有效性。

Apr, 2024