Feb, 2024

团结共识，共著失败！基于同时在 75 个数据集上进行预训练的时间序列表示学习

PDF
TL;DR自我监督对比式预训练方法和插值方法在多个时间序列数据集上的学习表明，可以从多个时间序列数据集中学习，对于低数据情况下的微调具有优势。
发现论文，激发创造
  • 一种用于时间序列的监督对比学习预训练 - 微调方法

    引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

    Nov, 2023

  • 多任务自监督时间序列表示学习

    本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

    Mar, 2023

  • 混合对比学习：时序的自监督表示学习

    提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

    Mar, 2022

  • 对比度视觉表征学习何时有效？

    本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

    May, 2021

  • UniCL：大型时间序列模型的通用对比学习框架

    UniCL 引入了一种通用的和可扩展的对比学习框架，用于预训练时间序列基础模型，跨领域数据集验证了 UniCL 在各个领域的高泛化性能。

    May, 2024

  • 时间序列的自学习特征提取

    时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

    Nov, 2023

  • 反演动态预训练为多任务模仿学习学习良好的表征

    本研究在模仿学习中评估了如何使用大型数据集进行预训练。我们提供了关于使用多任务演示和逆动力学建模的语境下进行预训练的证据，并在各种虚拟视觉操作问题中评估了这些证据。

    May, 2023

  • 多数据集预训练：用于语义分割的统一模型

    本研究提出了一个名为多数据集预训练的统一框架，利用来自不同数据集的注释，通过像素级原型对比损失和跨数据集混合来扩展像素级嵌入，进而显式建模关于像素类的相似度，在多个基准测试上实现了卓越的性能。

    Jun, 2021

  • 基于时间 - 频率一致性的自监督对比预训练时序模型

    该论文提出了一种新的预训练方法，通过考虑时频一致性来适应不同时间动态的目标领域，并证明了该方法在多种实际应用场景下性能优于当前主流方法。

    Jun, 2022

  • 关于自监督学习的预训练数据多样性

    增加训练数据集的多样性可以提高自我监督学习的性能，但前提是下游数据的分布差异很小。即使通过网络爬虫或扩散生成的方法等方式实现了非常庞大的预训练数据多样性，分布的变化仍然是一个挑战。

    Mar, 2024