本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

Jun, 2023

本文提出了一种新的自监督学习框架，将对比学习与神经过程相结合，用于时间序列预测，实现数据的增强和避免手动设计数据增广，利用我们的方法训练的 ResNet 和线性分类器在工业、医疗和音频数据集上表现良好，精度提高 10％以上。此外，我们证明了我们的自监督表示在潜空间中更有效，改善了多个聚类指标，同时微调 10％的标签可达到与全监督学习相竞争的结果。

Oct, 2021

本文提出了一种独特的时间反事实回归方法，通过强调长期预测，强调使用循环神经网络（RNN）进行长期预测，结合对比预测编码（CPC）和信息最大化（InfoMax），避免使用计算昂贵的变换器，捕捉到存在时间变化的混杂因素中的长期依赖关系，通过最大化序列数据和其表示之间相互信息的下界，实现了最先进的反事实估计结果，标志着对比预测编码在因果推断中的先驱性融合。

Jun, 2024

我们提出了 DE-TSMCL，这是一个创新的蒸馏增强框架，用于长序列时间序列预测，通过设计可学习的数据增强机制、提出具有动量更新的对比学习任务以及设计监督任务，联合优化多个任务，从而学习下游预测任务的有效表示，实验证明了 DE-TSMCL 的有效性，最大的改进达到 27.3%。

Jan, 2024

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

本文提出了一个新的深度学习框架 —— Long- and Short-term Time-series network (LSTNet)， 用于解决多元时间序列预测等问题，并在复杂混合循环模式数据上实现了显著的性能提升。

Mar, 2017

提出了 CLeaRForecast，一个新颖的对比学习框架，通过提供更纯净的时间序列表示和净化方法，解决了时间序列数据中存在的高影响噪声导致的表示不准确和预测性能下降的问题。实验证明 CLeaRForecast 在各种下游时间序列预测任务中具有卓越的性能。

Dec, 2023

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

本文介绍了一种自适应时间差异版对比性预测编码，通过拼接不同时间序列数据的片段来减少学习未来事件预测所需的数据量，并将该方法应用于推导目标条件强化学习的离线策略算法。实验表明，与先前的强化学习方法相比，我们的方法在成功率方面取得了 2 倍的中值提高，能够更好地应对随机环境。在表格设置中，我们展示了我们的方法比后续表示方法更节约样本，比标准（蒙特卡洛）版本的对比性预测编码更节约样本数量约 20 倍和 1500 倍。

Oct, 2023