TOTEM: 基于令牌化的时间序列嵌入用于一般时间序列分析

Feb, 2024

TOTEM: 基于令牌化的时间序列嵌入用于一般时间序列分析

TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis

Sabera Talukder, Yisong Yue, Georgia Gkioxari

TL;DR本研究探索了跨任务和领域的统一建模，通过使用离散的、学到的时间序列数据表示方法来实现通用、跨领域训练。我们提出了一种名为 TOTEM 的简单的分词架构，它使用自监督学习的方式来嵌入来自不同领域的时间序列数据。通过在 17 个真实世界的时间序列数据集上进行广泛评估，我们研究了 TOTEM 方法的有效性，涵盖了 3 个任务。我们对专家模式（在每个领域上训练模型）和通用模式（在多个领域上训练单个模型）进行了评估，并展示 TOTEM 在几个常见基准测试中能够达到或超过先前最佳方法的效果。

Abstract

The field of general time series analysis has recently begun to explore unified modeling, where a common architectural backbone can be retrained on a specific task for a specific dataset. In this work, we approach unifi

time series analysis unification tokenized time series embeddings cross-domain training real world time series datasets

发现论文，激发创造

传感器失效下的泛化性能：Tokenization + Transformers 实现更健壮的潜空间

通过对神经科学实验中的时间序列模型和传感器故障的研究，发现离散时间序列标记器和转换模型能够在各种泛化性能情况下优于或与卷积神经网络相匹配，并通过对标记器的潜在编码簿的分析发现标记化能够实现泛化。

Feb, 2024

TS2Vec：面向时间序列的通用表示

本文介绍了 TS2Vec，它是一种用于在任意语义级别学习时间序列表示的通用框架。通过对增强的上下文视图进行分层对比学习，TS2Vec 能够为每个时间戳提供强大的上下文表示，并通过简单的聚合来获得时间序列任意子序列的表示，通过实验评估表明，TS2Vec 在时间序列分类、时间序列预测和异常检测任务中具有良好的性能。

Jun, 2021

UniTime：跨领域时序预测的语言增强统一模型

提出了 UniTime 模型以解决跨领域时间序列学习中的挑战，通过灵活适应不同特征的数据、使用领域指令和语言 - 时间序列转换器来对齐模态，以及利用屏蔽来缓解领域收敛速度不平衡问题，从而大幅提升最先进的预测性能和零样本可迁移性。

Oct, 2023

卷积神经网络中的时序嵌入以强化对抽象片段的鲁棒学习

本文提出了一种基于时间嵌入的卷积神经网络模型 (TeNet)，通过对周期性时间序列中反复发生但被隐藏的结构元素 —— 抽象片段进行学习来预测未来的变化，该模型能够对时间序列中的数据扭曲和错位具有鲁棒性，并在人类移动性到家庭用电记录等多种数据模态上展示出优异的预测性能。

Feb, 2015

表格嵌入模型 (TEM): 为表格 RAG 应用优化嵌入模型

本文介绍了一种用于解决领域特定表格数据分析任务的新方法，通过提出一种独特的 RAG 工作流程，缓解了现有表格 LLM 解决方案的可扩展性问题，特别是针对需要解析和分析大量数值或表格数据的应用领域，我们展示了 Tabular Embedding Model (TEM)，这是一种用于调整嵌入模型以进行表格检索增强生成 (RAG) 应用的新方法，评估结果表明，我们的方法不仅在该领域性能优于现有的嵌入模型，而且具有明显更小、更高效的模型结构。

Apr, 2024

测试：文本原型对齐嵌入以激活 LLM 对时间序列的能力

本文总结了使用当今的语言模型（LLM）完成时间序列（TS）任务的两种策略：LLM-for-TS，设计和训练适用于 TS 数据的基础大模型；TS-for-LLM，使预训练的 LLM 能够处理 TS 数据。本文关注 TS-for-LLM 方法，旨在通过设计一种适用于 LLM 的 TS 嵌入方法来激活 LLM 对 TS 数据的处理能力。作者提出了一种名为 TEST 的方法，首先对 TS 进行分词，通过实例、特征和文本原型对齐等方式建立编码器进行嵌入，然后创建提示信息使 LLM 更加开放对嵌入的应用，并最终实现 TS 任务。实验证明，应用于 8 个具有不同结构和大小的 LLM 进行 TS 分类和预测任务，尽管结果无法显著超过针对 TS 任务定制的最先进模型，但将 LLM 视为模式机器能够赋予 LLM 处理 TS 数据的能力，而不损害其语言能力。本文旨在成为鼓励进一步研究的基础性工作。

Aug, 2023

嵌入空间中的主题建模

本研究提出了一种新的主题模型，嵌入式主题模型（ETM），通过将传统的主题模型与词嵌入技术相结合，成功发现了即使在包含生僻词和停用词的大词汇表中也具有可解释性的主题。此外，研究还开发了高效的变分推理算法来拟合 ETM 进行预测。

Jul, 2019

时间到模式：面向可扩展时间序列概括的信息论非监督学习

时间序列汇总是从数据集中生成可解释和有代表性子集的过程。我们引入了一种名为 Time-to-Pattern (T2P) 的时间序列汇总方法，通过学习离散时间序列的信息嵌入，在解释性的潜在空间中找到一组多样性模式来编码最显著的信息，并在综合实验中展示了 T2P 相较之前的工作在模式多样性和处理可扩展性方面的显著改进。

Aug, 2023

TimeNet: 面向时序分类的预训练深度循环神经网络

TimeNet 是一个基于循环神经网络的深度非监督学习模型，使用序列到序列模型从多个时间序列中提取特征，可用作时间序列的通用特征提取器，并且通过实验证明，使用 TimeNet 特征提取器训练的分类器能够显著提高分类效果。

Jun, 2017

Todyformer：面向全面的动态图卷积网络和结构感知分词

Temporal Graph Neural Networks 和 Transformers 结合，提出了一种用于动态图的新型 Transformer-based 神经网络 Todyformer，它通过将 MPNNs 的局部编码能力与 Transformers 的全局编码能力相结合来改善性能限制，并通过时间位置编码捕捉长距离依赖关系，实验证明在公共基准数据集上 Todyformer 在下游任务中 consistently 超过了最先进方法，并且在捕获动态图中广泛的时间依赖关系方面具有有效性。

Feb, 2024