通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在 23 个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了 DePT 在某些情景下优于最先进的参数高效微调方法，包括完全微调基线。此外，我们的进一步研究揭示了 DePT 在模型规模增大时更加高效，并展示了 DePT 在少样本学习设置和各种模型架构和规模中的适应性。

Sep, 2023

深度学习中的长期多变量时间序列预测 (LMTF) 模型的研究进展表明，基于历史数值和基于时间索引的模型在处理多变量时间序列时能更准确地预测未来值，而本文介绍的 PDETime 模型在实验中表现出优异的适应性和最先进的结果

Feb, 2024

LTSF-DNODE is proposed as a solution to the limitations of Linear-based LTSF models and Transformer-based approaches, showing better performance on various real-world datasets and exploring the impacts of regularization in the NODE framework for each dataset.

Nov, 2023

本文提出了一种新颖的深度学习网络结构 MPPN，用于长期时间序列预测，该结构采用多分辨率语义单元、多周期模式挖掘和通道自适应模块来捕捉时间序列的本质模式，并提出了基于熵的评估方法来提高预测精度。在九个真实世界基准测试中，实验结果表明，MPPN 显著优于现有的基于 Transformer、分解和采样的长期时间序列预测方法。

Jun, 2023

为了有效地进行时间序列预测，研究人员提出了 ProbTS 工具包，通过整合和比较两个不同分支的方法，揭示了它们的特点、优势、弱点和需要进一步探索的领域，从而为时间序列预测的更有效研究提供了新的方向。

Oct, 2023

通过引入可学习的分解策略和双重注意力模块，该研究论文在多元时间序列预测方面取得了显著进展，并且提出的分解策略可以插入其他方法，大大提升了性能，MSE 误差降低从 11.87% 到 48.56%。

Feb, 2024

本研究提出了一种混合模型，将经典时间序列模型与基于深度神经网络的模型结合起来，通过全局深度组件实现可扩展性和数据驱动，同时通过本地经典模型处理不确定性。实验证明，该模型在数据效率、准确性和计算复杂性方面具有优势。

May, 2019

我们提出了一种基于频率导数学习的非平稳时间序列预测框架 DERITS，通过整个频率谱将时间序列进行转换，使其从频率角度充分利用数据分布，从而在时间序列预测和分布偏移方面表现出持续的优越性。

Jun, 2024

DeformTime 是一个神经网络架构，旨在通过变量 DAB 和时间 DAB 来捕捉输入空间的相关时间模式，从而提高多元时间序列预测准确性。在 6 个多元时间序列数据集上进行了大量实验，结果表明 DeformTime 在绝大多数预测任务中都提高了准确性，平均减少了 10% 的平均绝对误差，并且性能提升在较长的预测时间范围内保持一致。

Jun, 2024

机器学习和深度学习的快速发展使得在电力系统的电力负荷预测等应用方面取得了广泛的成果。本文提出了一种可解释的深度学习方法，通过学习每个神经网络对输入时间特征进行关注的线性组合来实现。并且，我们提出了多尺度时序分解方法来处理复杂的时间模式。在比利时中央电网负荷数据集上进行了案例研究，结果表明所提出的模型相对于频繁应用的基准模型具有更好的准确性。此外，本方法不仅能展示特征的解释性，还能展示与其他基准方法相比的时间解释性，同时还能获得全局时间特征的解释性，这使得我们能够捕捉到负荷数据的整体模式、趋势和周期性，同时揭示了各种与时间相关的特征在形成最终输出中的重要性。

Feb, 2024