自我监督对比式预训练方法和插值方法在多个时间序列数据集上的学习表明，可以从多个时间序列数据集中学习，对于低数据情况下的微调具有优势。

Feb, 2024

该论文提出了一种新的预训练方法，通过考虑时频一致性来适应不同时间动态的目标领域，并证明了该方法在多种实际应用场景下性能优于当前主流方法。

Jun, 2022

本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据更加高效。

Oct, 2022

本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。

Oct, 2023

UniCL 引入了一种通用的和可扩展的对比学习框架，用于预训练时间序列基础模型，跨领域数据集验证了 UniCL 在各个领域的高泛化性能。

May, 2024

预训练和微调对于数据拟合不佳的模型能够帮助优化过程，但对于拟合较好的模型则没有这种效果；当给予足够的训练时间时，预训练不会表现出正则化的效果；预训练只能加速收敛，前提是模型具备足够的拟合能力；增加更多的预训练数据不能改善泛化能力，但可以增强预训练在原始数据量方面的优势，比如更快的收敛速度；预训练任务和模型结构两者都对于该范式在给定数据集上的效果起到作用，但模型结构的作用更加重要。

Sep, 2023

通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

Nov, 2020

本文提出 Bi-tuning，一种细调深度学习模型的新方法，能同时利用监督和无监督预训练，并综合使用有标签数据的判别信息和无标签数据的数据结构，相较于现有策略，在精度上有了长足的提升。

Nov, 2020

本文提出了一种叫做对比正则化调整的方法，把对比自监督学习应用在 Fei-tuning 中，用一种新颖的硬配对挖掘策略实现更有效的对比式 Fei-tuning，并平滑决策边界以更好地利用学习的判别式特征空间，证明了这种方法在图像分类和语义分割任务中的有效性。

Feb, 2021

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022