该研究提出了一种增强型的 Transformer 架构，设计了一种基于该模型的新型因子。通过从情感分析进行迁移学习，该模型不仅利用其原有的长期依赖性和复杂数据关系建模的优势，而且能够解决带有数字输入的任务并准确预测未来一段时间的回报。该研究的结果表明，相比其他 100 种基于因子的量化策略，该模型在预测股票趋势方面表现出优越性能，且换手率较低，半衰期更加稳健。值得注意的是，该模型通过与市场情绪信息结合，创新地应用了 Transformer 来建立因子，从而显著提高了交易信号的准确性，为未来量化交易策略提供了有希望的启示。

Mar, 2024

本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

Aug, 2021

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

通过马尔可夫链的角度研究变压器的序列建模能力，并在理论和实验上研究数据分布特性、变压器结构、学习分布和模型性能之间的相互作用。

Feb, 2024

我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

Nov, 2023

通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结果在所有常用的多变量时间序列数据集上成立，并且 SAMformer 平均超过当前最先进模型 TSMixer 14.33%，同时参数数量仅为其四分之一。

Feb, 2024

基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

Dec, 2023

通过比较多种基于 LSTM 和 Transformer 的模型在高频限价盘数据上的多个金融预测任务中的表现，研究发现 Transformer-based 模型在绝对价格趋势预测方面仅具有有限优势，而基于 LSTM 的模型在价格差异和价格变动等差异序列预测方面表现更好且更稳健。

Sep, 2023

本文提出了一种新的 Transformer 结构，即 Transformer iN Transformer（TNT），旨在提高图像处理中变换器的性能，通过在局部感知机制内利用可忽略计算成本的注意力机制以进一步将图像局部细化，从而在 ImageNet 基准测试中实现了 81.5% 的 Top-1 准确率，较相似计算成本的最先进的可视变换器高出 1.7%。

Feb, 2021