本文提出使用带有四个模块的神经网络分析病人旅程的疾病预测。通过将时间间隔作为辅助信息，建立了前瞻式的病人旅程的潜在进展模式，其中短期相关性建模并贡献于病人旅程的本地先验生成，并在 MIMIC-III 数据集上展示了更高的预测准确性。

Jul, 2022

本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

Sep, 2018

使用自我关注的时间序列建模在自然语言处理中具有前沿技术，但是并不能捕捉到事件之间的时间跨度，我们通过使用高维函数特征映射来构建一个时间不变的核函数，提出了几种学习功能时间表示和与事件表示交互的模型，并在真实世界数据集上进行了实验，结果表明这些方法可以更好地捕捉时间事件交互。

Nov, 2019

该研究使用多头自注意机制并修改时间注意编码器，以有效处理全球规模的卫星图像时间序列分类，提高时间序列分类的准确性和效率。在开放访问的卫星图像数据集中，使用更少的参数和降低计算复杂度，该方法优于其他现有的时间序列分类算法。

Jul, 2020

该论文通过使用时态点过程和变分自编码器提出了一种无需人工边缘指定的模型，学习推断节点间的时间关注力，从而具有更大的灵活性和更好的性能，用于动态链接预测任务。

Sep, 2019

本文提出一种基于图的下一步预测模型，采用了一种类 Transformer 的时序关注模型来捕捉长期的依赖关系，利用编码器 - 解码器结构来总结特征和创建系统状态的紧凑网格表示，并在几个复杂的流体力学预测任务中优于竞争性 GNN 基线，可以帮助解决高维物理问题的序列建模。

Jan, 2022

该研究提出了一种时间感知的自注意力机制 —— 时间注意力，用于任何基于变形器模型的预训练语言模型中，以捕捉上下文中的时间信息，并应用于语义变化检测任务，在三个不同语言的数据集上取得最先进的结果。

Feb, 2022

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

基于医学深度学习，本研究提出了两种方法来分析短期和长期的时间发展，通过结合对比学习和时间嵌入以及遮罩和预测潜在帧表示，实现了对生理功能和疾病进展的自动化分析。

Mar, 2024

本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

Jul, 2022