Nov, 2023

时间序列预测中的深度双下降：避免训练不足的模型

PDF
TL;DR通过对深度学习模型的训练模式进行广泛实验，在公共时间序列数据集上训练的多个 Transformer 模型中观察到了深度双下降现象，而通过使用更多的 epochs 可以减轻过拟合，取得了接近 72 个基准测试中 70% 的长序列时间序列预测的最新成果；此外，还提出了一个对训练模式修改进行分类的分类法，涵盖了数据增强、模型输入、模型目标、每个模型的时间序列和计算预算。
deep learning modelstransformerstime series forecastingdouble descenttraining schema modifications
发现论文，激发创造
  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023

  • 深度学习和基础模型在时间序列预测中的调查

    深度学习在时间序列预测方面取得了显著优势，然而在大流行预测领域仍存在挑战，如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术，并提供了进一步研究的建议。

    Jan, 2024

  • 深度学习时间序列预测综述

    本文概述了深度学习建模在时序数据领域的应用，介绍了单步和多步预测中通用的编码器和解码器的设计，分析了每一种方法如何加入时间信息以提高预测结果。接下来，介绍了深度学习和统计模型的混合模型在时间序列预测中的最新进展，最后讨论了深度学习如何为决策支持提供便利。

    Apr, 2020

  • epochwise 双重下降发生的时间和方式

    本文研究表明，随着参数数量的增加，深度神经网络会呈现出 “双下降” 的特性，同时，随着训练时间的增长，也存在着 “按时间下降的双重下降” 效应，这在实践中导致训练时间过长，基于验证表现的早停可能导致非最优泛化。作者提出了一种可以从理论上解释 “按时间下降的双重下降” 的模型，并提供了两种方法来消除这种效应。通过理论分析和实验验证表明，消除缓慢学习特征或修改训练方式可以消除 “按时间下降的双重下降”，并且改善模型泛化性能。

    Aug, 2021

  • 深度双谷：更大的模型和更多的数据会造成伤害

    我们证明了现代深度学习任务表现出 “双峰下降” 现象，即随着模型大小的增加，性能先变差，然后变好。此外，我们发现双重下降不仅是模型大小的函数，而且是训练时期数的函数。我们通过定义一个我们称之为有效模型复杂度的新复杂度度量来统一以上现象，并猜测存在相对于该度量的广义双下降。此外，我们的模型复杂度概念使我们能够确定某些区域，在这些区域中，增加（甚至是四倍）的训练样本数量实际上会损害测试性能。

    Dec, 2019

  • 深度学习中的双下降现象理解

    将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低了测试误差。本教程解释了双重下降的概念及其机制，并引入了具有关键作用的归纳偏差，通过选择一种平滑的经验风险最小化器，从多个插值解决方案中选择一个。最后，第三部分探讨了两个线性模型中的双重下降，并从最近相关的工作提供了其他视角。

    Mar, 2024

  • 深度神经网络是否能避免双重下降现象？

    在深度学习模型中，找到最佳大小对于节能取得高广泛影响。 通过恰当的条件，可能避免双下降现象，其中模型大小增长时性能会先变差然后变好，以维持高泛化的效果需要充分过参数化的模型，但添加太多参数会浪费培训资源。在复杂情况下，正则化已经对避免双下降产生了积极作用。

    Feb, 2023

  • 时间序列预测是否真的需要深度学习模型？

    本文介绍了一种基于时间序列的深度学习方法及其与传统机器学习方法的比较结果，结果表明，输入变换可以提高传统 GBRT 模型的性能，使其优于所有评估的最新 DNN 模型。

    Jan, 2021

  • 基于一步微调的时间序列 Transformer 的域自适应

    本文介绍了一种使用逐步解冻技术进行时间序列预测的预训练模型、有限数据目标域的逐步微调和源域数据的 “一步微调” 方法，通过实验证明该方法在室内温度和风力预测方面相较于其他方法有着 4.35% 和 11.54% 的性能提升。

    Jan, 2024

  • 深度预测因素

    本研究提出了一种混合模型，将经典时间序列模型与基于深度神经网络的模型结合起来，通过全局深度组件实现可扩展性和数据驱动，同时通过本地经典模型处理不确定性。实验证明，该模型在数据效率、准确性和计算复杂性方面具有优势。

    May, 2019