Sep, 2023

探究预训练对时间序列分类的影响

PDF
TL;DR预训练和微调对于数据拟合不佳的模型能够帮助优化过程，但对于拟合较好的模型则没有这种效果；当给予足够的训练时间时，预训练不会表现出正则化的效果；预训练只能加速收敛，前提是模型具备足够的拟合能力；增加更多的预训练数据不能改善泛化能力，但可以增强预训练在原始数据量方面的优势，比如更快的收敛速度；预训练任务和模型结构两者都对于该范式在给定数据集上的效果起到作用，但模型结构的作用更加重要。
发现论文，激发创造
  • 一种用于时间序列的监督对比学习预训练 - 微调方法

    引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

    Nov, 2023

  • 询问您的分布偏移是否适合预训练

    该研究旨在界定预训练在处理数据分布偏移时可以解决的失败模式，发现预训练可以缓解数据外推问题，但对数据集偏见无效；研究结果指出，预训练和干扰同时使用可以增加模型的鲁棒性，也发现在小规模、非多样但去除偏见的数据集上进行微调可以得到比在大规模和多样但有偏见的数据集上进行微调更加鲁棒的模型。

    Feb, 2024

  • 无监督预训练的泛化能力研究

    运用一种新的理论框架，研究无监督预训练对细调模型泛化能力的影响，并通过分析两个具体场景的泛化上限，提出了一种新的预训练正则化方法，从而促进了细调模型的泛化能力。

    Mar, 2024

  • 使用预训练可提高模型的鲁棒性和不确定性

    本文研究了深度学习中预训练对模型鲁棒性和不确定性预测的影响，并通过对对抗性环境、标签结构、类分布、数据分布等进行大量实验，展示了其中很大的性能提升。同时，提出了对抗性预训练方法，实现了不错的性能提升。

    Jan, 2019

  • 面向时间序列数据的基础模型

    本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。

    Oct, 2023

  • 利用自然语言监督改进视觉微调

    本文通过引入一种基于文本监督的微调方法（TeS），旨在缓解预训练模型中的 bias 问题，并在 11 个下游任务上进行了验证。实验结果表明，该方法能够显著提高微调的效果。

    Apr, 2023

  • 通用时间序列分析：利用预训练语言模型和特别设计的适配器

    利用预训练模型并引入自定义适配器优化预训练的 transformer 模型用于时间序列分析，在多个任务中取得了卓越的性能，尤其是通过适配器微调进一步提升了性能，超过了专门用于特定任务的模型。

    Nov, 2023

  • 预训练模型训练数据指南：测量数据的年龄、领域覆盖、质量和毒性的影响

    对预训练数据合理性进行了研究，为语言模型开发做出了数据方面的决策提供支持。

    May, 2023

  • 是否预训练：探究在资源丰富任务中预训练的益处

    本文研究预训练自然语言处理模型在下游任务中使用的训练样本数量与性能之间的关系，研究发现，随着训练样本的数量达到百万级别，使用 BERT 预训练模型和从头开始训练的 LSTM 模型之间的准确度差距缩小到不到 1％，暗示随着监督数据规模的增大，MLM 模型可能会达到递减的收益点。

    Jun, 2020

  • 时间序列预训练模型调研

    本综述对时序预训练模型进行了全面回顾，介绍了典型的深度学习模型，总结了有监督、无监督和自监督时间序列预训练模型，分析了迁移学习策略、基于 Transformer 的模型和代表性 TS-PTMs 的优缺点，指出了未来的研究方向。

    May, 2023