May, 2024

分割、洗牌和拼接：改进时间序列表示的简单机制

PDF
TL;DR现有的学习时间序列的方法保持时间步骤的时间顺序，假设原始顺序对学习来说是最优的。然而，现实世界的时间序列的非相邻部分可能具有强烈的依赖关系。为了解决这个问题，我们提出了一种名为 Segment, Shuffle, and Stitch（S3）的简单即插即用机制，旨在改进现有模型的时间序列表示学习。S3 通过从原始序列中创建非重叠的片段并以一种在任务中最优的方式对它们进行洗牌，然后将洗牌后的片段重新连接并执行与原始输入的学习加权求和，以捕获新的洗牌序列和原始序列。S3 是模块化的，可以堆叠以创建不同程度的粒度，并可添加到许多形式的神经架构，包括卷积神经网络（CNN）或 Transformer，计算开销可忽略。通过对多个数据集和现有基线进行大量实验证明，引入 S3 可以显著提高时间序列分类和预测任务的性能，在某些数据集上的性能提高高达 68％。我们还展示了 S3 相比于原始基线使学习更稳定，具有较平滑的训练损失曲线和损失曲面。代码可在此 https URL 中获得。
发现论文，激发创造
  • 捕捉时间序列分类的时间组成部分

    通过从连续数据中提取统计一致的成分进行训练的多尺度变化空间上的无监督分段方法，用于时序数据分类的符合组合表示学习的序列编码模型的效果得到广泛实验验证。

    Jun, 2024

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 无监督行动分割的 Action Shuffle 交替学习

    本文介绍了一种使用自监督学习和 RNN/HMM 算法实现无监督动作分割的方法，该方法优于现有技术在多个数据集上的表现。

    Apr, 2021

  • 无监督排序序列的表示学习

    本文提出了一种利用视频进行无监督表示学习的方法，采用时序一致性作为监督信号，将表示学习形式化为序列排序任务，通过训练卷积神经网络对打乱的图像序列进行排序，以预测正确的顺序。实验结果表明，我们的方法在行动识别、图像分类和物体检测任务上比状态 - of-the-art 方法效果更好。

    Aug, 2017

  • S3Aug：用于动作识别的分割、采样和平移

    本文介绍了 S3Aug，一种用于动作识别的视频数据增强方法。该方法通过分割和标签转换，从单个训练视频生成新的视频，并通过采样修改某些类别的标签图像，以生成多样的视频，并通过移动中间特征来增强生成视频帧之间的时间连贯性。通过在 UCF101、HMDB51 和 Mimetics 数据集上的实验证明了所提方法的有效性，尤其对于 Mimetics 数据集中的非上下文视频。

    Oct, 2023

  • 提升流式时间序列分割的分类能力

    Ubiquitous sensors produce high frequency streams of numerical measurements which can be segmented using the ClaSS algorithm based on self-supervised time series classification and statistical tests to detect change points.

    Oct, 2023

  • 顺序有关：针对视频预测的乱序序列生成

    本研究提出一种名为 Shuffling sEquence gEneration Network (SEE-Net) 的模型，通过打乱视频帧的顺序并将其与真实视频序列进行比较来学习区分非自然的顺序信息，从而提升了视频预测的效果，实验结果表明该模型在合成和实际场景视频上的表现都优于其他先前的方法，其具有生成更加真实的内容，顺序信息对于视频生成至关重要的特点。

    Jul, 2019

  • StiefelGen：将简单通用的方法应用于黎曼流形上的时间序列数据增强

    本文提出了一种方法，通过使用 Stiefel 流形的矩阵微分几何，将时间序列信号放置在流形上，并在流形上平滑扰动，以同时解决数据增强、时间序列数据和神经网络模型方面的限制。

    Feb, 2024

  • ESPRESSO：面向处理异构传感器数据的熵和形状感知时序分割

    本文提出了基于时间序列熵和形态学特性的 ESPRESSO 模型，在多维时间序列上进行分割，以提取信息丰富且有意义的时间段，该模型在七个公开数据集上表现优异，在人类活动识别、轨迹预测、手势识别和生活记录等应用场景中有着广泛的应用前景。

    Jul, 2020

  • 时间潜在瓶颈：序列学习中快速与慢速处理机制的综合

    该研究探讨了如何将循环神经网络与 Transformers 结合起来，以实现更好的压缩表示和表达能力，以在视觉感知和序列决策任务中提高样本效率和泛化性能。

    May, 2022