学习独立嵌入时间序列片段

Dec, 2023

Learning to Embed Time Series Patches Independently

Seunghan Lee, Taeyoung Park, Kibok Lee

TL;DR基于自监督表征学习策略的遮蔽时间序列建模引起了人们的广泛关注。我们提出使用简单的补丁重构任务和独立嵌入每个补丁的简单补丁级 MLP。此外，我们引入互补的对比学习方法以高效地捕捉相邻时间序列信息。与最先进的基于 Transformer 的模型相比，我们的方法在时间序列预测和分类性能上有所提高，同时在参数数量和训练 / 推理时间上更加高效。

Abstract

masked time series modeling has recently gained much attention as a self-supervised representation learning strategy for time series. Inspired by masked image modeling in computer vision, recent works first patch

masked time series modeling self-supervised representation learning patch-wise mlp complementary contrastive learning transformer-based models

发现论文，激发创造

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

MTSMAE: 基于掩码的自编码器用于多元时间序列预测

该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

Oct, 2022

多区块预测：适应时序表示学习的 LLM 调整

本研究提出了一种创新的框架 aLLM4TS，用于适应大型语言模型（LLMs）进行时间序列表示学习，并通过将时间序列预测重新构想为自监督的多补丁预测任务，比传统的遮罩和重建方法更有效地捕捉了补丁表示中的时间动态。我们的策略包括两个阶段的训练：（i）在各种时间序列数据集上基于下一个补丁预测进行因果连续预训练阶段，有效地将 LLM 的能力与时间序列数据的复杂性同步；（ii）在目标时间序列环境中进行多补丁预测的微调。我们框架的一个独特要素是基于补丁的解码层，摒弃了先前依赖序列级解码的方法。这种设计直接将各个补丁转换为时间序列，从而显著增强了模型在掌握基于时间补丁的表示方面的能力。aLLM4TS 在多个下游任务中表现出卓越性能，证明了它在提高传递性的时间表示方面的有效性，并在 LLMs 用于时间序列分析的适应性方面取得了重要进展。

Feb, 2024

时间序列的自学习特征提取

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

针对自监督视觉变换器的补丁级别表示学习

本文设计了一种称为 SelfPatch 的简单而有效的视觉预训练任务，利用 ViT 的特性，在无需人工注释的情况下提高不同类型视觉任务的性能，通过训练神经网络对各种图像的无监督学习来实现。

Jun, 2022

PDMLP：基于补丁的分解 MLP 用于长期时间序列预测

我们的研究通过改进 Transformer 架构，提出了一种基于 Patch 机制和线性层的新型解决方案 PDMLP，用于长期时间序列预测任务，并在多个真实数据集上实现了最先进的结果。

May, 2024

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

通过硬补丁挖掘引导掩蔽视觉建模

通过引入一个辅助损失预测器和一个逐渐引导训练过程的易难遮罩策略，我们提出了 Hard Patches Mining (HPM) 方法来增强模型作为教师的能力，通过预测基于补丁的损失并确定遮罩的位置，从而显著改进了图像和视频的基准性能，并验证了确定难以重建的位置对于更好的表示的有效性。

Dec, 2023

ShadowMaskFormer：面具增强的补丁嵌入用于阴影去除

提出了一种用于去除阴影的基于 Transformer 的框架，称为 ShadowMaskFormer，通过引入阴影信息和改进的 patch embedding 来提高模型在获取阴影区域知识方面的效果。在 ISTD、ISTD + 和 SRD 基准数据集上的实验证明了该方法相对于现有方法在使用更少模型参数的情况下的有效性。

Apr, 2024

掩蔽变换器应用于扩散模型快速训练

本论文提出了一种使用掩码 Transformer 训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用 31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

Jun, 2023