ForecastPFN: 综合训练的零样本预测
该研究论文探讨了先验数据拟合网络(PFN)的理论基础,以及控制其行为的统计机制。虽然 PFN 是受贝叶斯思想启发的,但其行为可以纯粹地以预调整但未经训练的预测器来解释。
May, 2023
LaT-PFN 是一种具有强大嵌入空间的时间序列模型,可以实现零点预测,并通过利用 JEPA 框架和 PFN 框架进行上下文学习来改善结果。
May, 2024
本文介绍了 Prior-Data Fitted Networks (PFN) 方法,该方法利用大规模机器学习技术来逼近大量的后验概率。PFN 的目标是将后验逼近问题表述为带有集合值输入的监督分类问题,并展示了在多种不同领域的强大效果。
Dec, 2021
该研究通过实验证明,在正常时间序列情况下,仅使用真实时间序列的数量有限的训练数据,相较于使用更多的合成数据进行训练,利用监督框架进行训练可以获得更好的结果。
Mar, 2024
本文研究了时间序列预测中的表演性问题,在机器学习的视角下,提出了一种称为特征表演位移(FPS)的新方法,该方法利用延迟响应的概念来预测可能的分布变化,并相应地预测目标变量。通过在 COVID-19 和交通预测任务上进行综合实验,结果表明 FPS 始终优于传统时间序列预测方法,突出了其在应对表演性问题方面的效果。
Oct, 2023
基于大型语言模型的自然语言处理,我们设计了一个时间序列基础模型用于预测,在各种公共数据集上,模型的开箱即用的零射的表现接近各个数据集的最先进的监督预测模型准确度。模型基于对大型时间序列语料库进行预训练的修补解码器样式注意力模型,并且可以适用于不同的预测历史长度、预测长度和时间粒度。
Oct, 2023
本研究提出了一种新颖的时间序列预测模型,FPN-fusion,具有线性计算复杂度,相比于 DLiner 具有更优越的预测性能而无需增加参数数量或计算需求。我们的模型引入了两个关键创新:首先,采用特征金字塔网络(FPN)有效地捕捉时间序列数据的特征,避免了传统趋势和季节分解;其次,开发了一个多层融合结构,无缝地整合深层和浅层特征。在八个开源数据集上的 32 个测试案例中,FPN-fusion 在 31 个案例中表现优于 DLiner,平均均方误差 (MSE) 减少 16.8% 和平均绝对误差 (MAE) 减少 11.8%。此外,与基于 Transformer 的 PatchTST 相比,FPN-fusion 在 32 个测试项目中实现了 10 个最佳 MSE 结果和 15 个最佳 MAE 结果,仅使用了 PatchTST 总计算负载的 8%。
Jun, 2024
由于先验拟合网络(PFN)在低数据环境中展示出的极具潜力的结果,我们提出了一种适用于 TabPFN 的解释性方法,通过利用该模型的独特性质,我们的适应方法能更高效地计算 Shapley 值的估计以及在处理大规模 Transformer 时使用 Leave-One-Covariate-Out。此外,我们还展示了如何利用数据估值方法来解决 TabPFN 的可扩展性挑战。
Mar, 2024
利用从其他地理位置提取的知识,我们提出了一种新颖的零样本学习方法,用于预测新的未监测位置的各种气候测量值,该方法在预测微气候变量方面超越了传统的天气预测技术。
Jan, 2024
该论文介绍了如何利用 Prior-data Fitted Networks (PFNs) 在贝叶斯优化中作为一种灵活的代理模型,并演示了 PFN 在人工高斯过程和超参数优化测试方面的效用。
May, 2023