NuTime: 大规模时间序列预训练的数值多尺度嵌入

Oct, 2023

NuTime: 大规模时间序列预训练的数值多尺度嵌入

NuTime: Numerically Multi-Scaled Embedding for Large-Scale Time Series Pretraining

Chenguo Lin, Xumeng Wen, Wei Cao, Congrui Huang, Jiang Bian...

TL;DR这篇论文介绍了一种基于时间序列的自监督模型，通过采用 Transformer 架构和多尺度嵌入模块，在大规模数据集上取得了显著的改进，建立了新的最优实验结果。

Abstract

Recent research on time-series self-supervised models shows great promise in learning semantic representations. However, it has been limited to small-scale datasets, e.g., thousands of temporal sequences. In this work, we make key technical contributions that are tailored to the numeri

time-series self-supervised models large-scale datasets transformer architecture numerically multi-scaled embedding module representation learning approaches

发现论文，激发创造

多维时序数据无监督可扩展表征学习

通过一种无监督方法，提出了在长度和标签稀疏性方面都很具有可扩展性的编码器，通过时间负采样的三元损失组合将其与基于因果膨胀卷积的编码器结合，用于生成变长时间序列的通用表示，表现出了良好的质量、可转移性和实用性。

Jan, 2019

可扩展的多元时间序列数值嵌入：增强医疗数据表示学习

通过 SCANE 和 SUMMIT 算法，有效地处理多变量时间序列数据中的缺失值并提供精确的预测输出，验证结果证实了它们在多种 MTS 数据分析任务中的应用潜力。

May, 2024

表格深度学习中数字特征的嵌入

本研究针对数值特征在计算表格数据方面的表现，提出在深度学习中使用数值特征嵌入提升性能的方法，并重点研究两种不同的嵌入方式，并实现了嵌入在简单 MLP-like 模型与 attention-based 结构中的对比性能提升。

Mar, 2022

基于 Transformer 的多变量时间序列表示学习框架

本文提出了一种基于 transformer 的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。

Oct, 2020

多尺度变压器金字塔网络用于多变量时间序列预测

使用多尺度 Transformer 的多变量时间序列预测中，引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。进一步，提出了一种新颖的 Multi-scale Transformer 金字塔网络 (MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明，提出的 MTPNet 优于最新的先进方法。

Aug, 2023

FormerTime：用于多元时间序列分类的分层多尺度表示

提出了一种名为 FormerTime 的模型，结合特征金字塔和 Transformers 模型，解决了时间序列分类中长期依赖性建模和计算效率的问题，并在 10 个 UEA 存档数据集上获得了比竞争基线更好的分类性能。

Feb, 2023

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

计时器：用于大规模时间序列分析的 Transformer

本研究论文致力于提出一种大规模时间序列模型 (Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

Feb, 2024

TimelyGPT: 长时序表示的循环卷积变换器

该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

时间嵌入：基于时空数据的可扩展无监督时序表征学习，用于多模态计算机视觉

地理空间活动与土地利用类型之间存在相关性。提出一种新颖的自监督方法，基于运动活动时间序列对景观进行分层。时间序列信号首先转换到频域，然后通过压缩自编码器转换为与任务无关的时间嵌入，该方法保留了时间序列中观察到的循环时间模式。通过深度语义分割，将像素级嵌入转换为类似图像的通道，可用于基于任务的异模态建模和下游地理空间任务的建模。实验证明，时间嵌入是时间序列数据的语义有意义的表示方法，并且在不同的任务中如分类住宅区和商业区等有着良好的效果。时间嵌入将时空运动轨迹数据转换为语义有意义的类似图像的张量表示，可以与其他数据模态（如 RBG 图像、道路网络的图嵌入、被动采集的 SAR 图像等）相结合进行多模态学习，从而促进地理空间计算机视觉中的多模态学习。多模态计算机视觉对于训练地理空间特征检测的机器学习模型以保持地理空间映射服务实时更新是至关重要的，可以显著提高用户体验和用户安全。

Oct, 2023