本研究介绍了一种基于图结构的序列感知增强变压器模型 SageFormer，用于有效地捕捉和建模系列之间的依赖关系，并通过真实世界和合成数据集的广泛实验展示其优越性。

Jul, 2023

提出了 GenFormer，一种用于生成时空多变量随机过程的随机生成器，利用基于 Transformer 的深度学习模型构建，能够保留目标统计特性。在具有大量空间位置和长时间模拟范围的挑战性应用中，GenFormer 模型生成的合成数据保留了目标边缘分布，并近似捕捉了其他期望的统计特性。将 GenFormer 模型应用于在佛罗里达州的各个站点模拟合成风速数据，计算风险管理的超越概率。

Feb, 2024

介绍了一种稀疏信号引导的变压器模型 (SigFormer)，该模型通过融合密集信号和稀疏信号来提高多模态人体动作分割的准确性，在处理稀疏信号时使用了蒙版注意力机制，同时在提取特征和建模动作类别与时间边界关系时强调了边界信息。在实验中，SigFormer 在真实工业环境下的多模态动作分割数据集上表现优秀，F1 得分达到 0.958。

Nov, 2023

在处理非均匀间隔的时间序列数据时，传统的循环模型表现不佳，研究人员通常会使用基于神经常微分方程的模型和基于 Transformer 的模型来解决长程依赖和不规则采样数据的问题。为了解决这一挑战，本文引入了 Rough Transformer，一种在连续时间表示中操作的 Transformer 模型，大大降低了计算成本。我们提出了 “多视图签名注意力”，使用路径签名增强了原始注意力机制，捕捉了输入数据的本地和全局依赖关系，并对序列长度和采样频率的变化保持鲁棒性，并获得了空间处理的改进效果。我们发现，Rough Transformers 在各种时间序列相关任务中始终优于传统的注意力机制，同时获得了神经常微分方程模型的表征优势，并且仅消耗计算时间和内存资源的一小部分。

May, 2024

本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

该论文介绍了一种名为 Pathformer 的多尺度 Transformer 模型，通过自适应路径进行多尺度建模，以提高预测准确性和泛化能力，实验证明其在真实数据集上表现出优越的性能和泛化能力。

Feb, 2024

深度对冲是一种利用深度学习来逼近最优对冲策略的方法，本研究提出了一种在深度对冲中使用人工市场模拟的新方法，可达到与传统方法几乎相同的效果，且无需使用数学金融模型。

Apr, 2024

这篇论文研究了使用深度神经网络架构解决多元时间序列插补问题。通过利用低秩插补方法的经验和专长，我们为传统的 Transformer 模型添加了三项知识驱动的增强，包括投影时间注意力、全局自适应图卷积和 Fourier 插补损失。这些面向任务的归纳偏置利用了不完整时间序列的内在结构，使得我们的模型适用于多种插补问题。我们通过在包括交通速度、交通流量、太阳能、智能电表和空气质量等异构数据集上进行全面的案例研究来进一步加强其可解释性，并通过有希望的实证结果有力地证明了将低秩属性等时间序列原始特征纳入模型可以大幅促进通用化模型的开发，从而解决广泛的时空插补问题。

Dec, 2023

利用人工智能生成样本（AIGS）增强训练过程，提出了一种新颖的方法，利用 Diffusion Model 生成具有 Transformer 架构的股票因子（DiffsFormer）。通过编辑现有样本来控制生成数据与目标领域的差异程度，以缓解数据稀缺问题，并通过在 CSI300 和 CSI800 数据集上的实验证明了该方法在股票预测任务中的有效性。

Feb, 2024

基于深度学习的对冲框架是一种在不完全市场中进行衍生品对冲的方法。与传统数学金融框架不同，深度对冲的优势在于其能够处理各种真实市场条件，如市场摩擦等。本研究提出一种名为对抗深度对冲的新框架，通过对抗学习训练基础资产模型，实现了学习鲁棒的对冲策略而不需要显式地对基础资产过程建模。通过数值实验，我们证明了该方法在各种真实市场数据下具有竞争性能。

Jul, 2023