Dec, 2023

ImputeFormer: 用于可推广的时空插补的图变换器

PDF
TL;DR这篇论文研究了使用深度神经网络架构解决多元时间序列插补问题。通过利用低秩插补方法的经验和专长，我们为传统的 Transformer 模型添加了三项知识驱动的增强，包括投影时间注意力、全局自适应图卷积和 Fourier 插补损失。这些面向任务的归纳偏置利用了不完整时间序列的内在结构，使得我们的模型适用于多种插补问题。我们通过在包括交通速度、交通流量、太阳能、智能电表和空气质量等异构数据集上进行全面的案例研究来进一步加强其可解释性，并通过有希望的实证结果有力地证明了将低秩属性等时间序列原始特征纳入模型可以大幅促进通用化模型的开发，从而解决广泛的时空插补问题。
发现论文，激发创造
  • 用图神经网络填补 G_ap_s：多元时间序列插值

    本研究使用图神经网络架构 GRIN 来处理多变量时间序列的缺失值，通过信息传递学习时空表示，实现修复缺失数据，并在真实基准测试中表现出超过 20% 的平均绝对误差改善。

    Jul, 2021

  • 学习从有限观测的时空图中重建缺失数据

    该论文提出了一种基于注意力机制的体系结构，可以在处理高度稀疏的时间序列数据时提高自动编码器的鲁棒性，达到填充（imputation）缺失值的目的。

    May, 2022

  • GP-VAE：深度概率时间序列插值

    本文提出一种新的深度顺序潜变量模型，通过高斯过程在时间上平滑演化的抽象低维表示来实现缺失数据的非线性降维和数据插值，旨在解决在医疗和金融等领域中常见的缺失数据问题。我们的方法优于传统的和基于深度学习的数据插值方法，并提供可解释的不确定性估计。

    Jul, 2019

  • 基于时空依赖的交通数据插值的深度学习框架

    本文研究了如何使用数据填充的方法处理由于交通网络动态变化引起的多变量时间序列中缺失的时空数据，并就现有方法存在的问题提出了改进方案。

    Apr, 2023

  • ST-GIN：基于时空图注意力和双向循环联合神经网络的交通数据填充不确定性量化方法

    本文提出一种创新的深度学习方法来填充交通数据中的缺失值，采用图形关注架构和双向神经网络来捕捉交通数据中的空间和时间相关性，实验结果表明该方法优于所有基准技术，展示了其有效性。

    May, 2023

  • 多元时间序列插补的深度学习：综述

    通过对最近提出的深度学习插补方法进行综合调查，本文首先提出了一种分类法，然后通过强调其优势和局限性对这些方法进行了结构化的审查。同时，我们还进行了实证实验，研究了不同方法并比较了它们对下游任务的改进效果。最后，指出了未来研究多变量时间序列插补的开放问题。

    Feb, 2024

  • GATGPT：基于图注意力网络的预训练大型语言模型用于时空填补

    在本研究中，我们提出了一种创新方法 GATGPT，它将已训练好的大型语言模型（LLM）与图注意机制相结合，用于时空插补。我们保持大部分 LLM 参数不变，以利用现有知识学习时间模式，并针对不同应用程序调整上层的微调。图注意组件增强了 LLM 理解空间关系的能力。通过对三个真实世界数据集的测试，我们的方法表现与已建立的深度学习基准相当。

    Nov, 2023

  • 时间序列表示模型

    我们提出了一种基于内省的时间序列分析的新架构概念，其中关键是自监督预训练的时间序列表示模型（TSRM），可以在自动化和资源高效的方式下进行定制和微调，以实现特定任务，如预测和插补。我们的架构通过灵活和分层的表示学习过程对抗缺失数据和异常值，能够捕捉和学习给定时间序列类别（如心率数据）的结构、语义和关键模式的本地和全局特征。与现有方法相比，我们的架构提高了插补和预测误差，分别高达 90.34％和 71.54％，同时减少了可训练参数高达 92.43％。

    May, 2024

  • 基于位置感知图增强变分自编码器的网络时间序列插值

    本文提出了一种名为 PoGeVon 的模型，基于 VAE，利用基于随机游走的节点位置嵌入和多任务学习的三阶段预测，对存在节点特征和图结构上的缺失值的网络化时间序列进行了精确的缺失值预测和图结构重构。

    May, 2023

  • 时间序列分类中的概率性数据补全

    本文提出了一个新颖的概率框架，用于处理具有缺失值的多变量时间序列数据的分类问题。通过训练两个部分的模型，一个用于缺失值填补的深度生成模型，一个用于分类的分类器，能够有效地建模填补缺失值带来的不确定性，并且利用新的正则化技术解决了合并模型可能产生的无意义填补解的问题，通过在真实世界数据上进行广泛实验，证明了我们方法的有效性。

    Aug, 2023