Jan, 2024

Kernel-U-Net 多变量时序预测的层次和对称框架

PDF
TL;DR时间序列预测任务基于历史信息预测未来趋势。本文提出了一种对称和分层的框架，Kernel-U-Net，它在网络的每一层将输入序列切分成片段，然后使用内核对其进行计算。与现有的线性或 Transformer 解决方案相比，我们的模型具有三个优势：1）参数较小，2）灵活性，3）计算效率。在六个（七个中的五个）真实数据集上，Kernel-U-Net 的准确性大于或等于最先进模型的准确性。
time series forecastingu-net-based methodskernel-u-netcustom kernelscomputation efficiency
发现论文，激发创造
  • HUTFormer：用于长期交通预测的分层 U-Net Transformer

    我们首次尝试研究长期交通预测的问题，并提出了一种名为 HUTFormer 的新型模型，通过多尺度表示来有效改善长期交通预测的挑战，并在多个交通数据集上证明其在预测性能上显著优于现有的基准模型。

    Jul, 2023

  • UnetTSF: 一种性能更好的线性复杂度时间序列预测模型

    该论文提出了一种线性复杂度的 U-Net 时间序列预测模型（UnetTSF），采用了 U-Net 架构，并首次使用 FPN 技术从时间序列数据中提取特征，替代了将时间序列数据分解为趋势和季节项的方法，同时设计了适用于时间序列数据的融合结构。在 8 个开源数据集上的测试中，相比最佳线性模型 DLiner，在 32 个测试项目中有 31 个获得最佳结果。平均 mse 减少了 10.1％，平均 mae 减少了 9.1％。与复杂的基于 Transformer 的 PatchTST 相比，UnetTSF 在 32 个测试项目中获得了 9 个 mse 的最优结果和 15 个 mae 的最优结果。

    Jan, 2024

  • U-Net 设计与分析的统一框架

    本文提出了一个设计和分析通用 U-Net 体系结构的框架，介绍了它们在编码器和解码器中的作用，通过预处理与 ResNets 的相关性及其高分辨率缩放极限，为 PDE 模型、图像分割和扩散模型提供了更好的性能，并提出设计新的 U-Net 架构以便超越方形外的多种问题

    May, 2023

  • ConvTimeNet: 多变量时序分析的深层分层完全卷积模型

    本文介绍了 ConvTimeNet，这是一个新型的深层分层全卷积网络，旨在作为时间序列分析的通用模型。该网络的关键设计从两个方面入手，旨在克服传统卷积网络的局限性。第一，我们提出了将时间序列自适应分割为子序列级的补丁，并将其作为基本建模单元，避免了与原始点级时间步长相关的稀疏语义。第二，我们设计了一个完全卷积块，巧妙地集成了深度卷积和点卷积操作，采用 Transformer 编码器中使用的先进建模风格，使得该主干网络能够有效捕捉全局序列和跨变量依赖，因为它不仅融入了 Transformer 架构的进展，还继承了卷积的固有属性。此外，通过灵活控制核大小，可以学习给定时间序列实例的多尺度表示。我们在时间序列预测和分类任务上进行了广泛的实验。结果在大多数情况下在有效性方面始终优于强基线。代码已公开发布。

    Mar, 2024

  • U 型 Transformer：在时间序列分析中保留高频上下文

    时间序列预测是各个工业领域中的关键任务。近年来，具备变换器骨干的神经网络在计算机视觉和自然语言处理等多个领域中取得了显著成功。在时间序列分析领域，一些研究发现即使是最简单的多层感知机网络在时间序列预测任务上也能胜过先进的基于变换器的网络。然而，我们认为这些发现表明时间序列序列中存在低秩特性。本文中，我们考虑了变换器的低通特性，并试图融入多层感知机的优点。我们在传统的变换器骨干中采用了受 Unet 启发的跳跃连接，从而保留了从输入到输出的高频率上下文，即 U 型变换器。我们引入了补丁合并和分割操作，以提取不同尺度的特征，并利用更大的数据集充分利用变换器骨干。我们的实验表明，该模型在多个数据集上表现出较高水平的性能，并具有相对较低的成本。

    Jul, 2023

  • U-Net 卡尔曼滤波器 (UNetKF): 机器学习辅助集合数据同化的示例

    使用 U-Net 技术结合集合卡尔曼滤波算法，进行数据同化实验，得出 U-Net Kalman Filter 方法可以与传统的 3DVar、En3DVar 或 EnKF 方法相媲美或超越其性能，并展示训练后的 U-Net 模型能够转移到高分辨率模型中进行实现，在小集合规模下表现出色。

    Mar, 2024

  • Yformer: 基于 U-Net 的 Transformer 架构用于远视时间序列预测

    该论文提出了一种基于 Y-shaped 编码器 - 解码器结构的 Yformer 模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为 19.82％和 18.41％MSE 和 13.62％和 11.85％MAE。

    Oct, 2021

  • U-Nets 作为信念传播：在生成层次模型中高效分类、去噪和扩散

    通过研究某些生成式分层模型，本文引入了 U-Net 架构的新解释，它是一种在语言和图像领域广泛使用的树状结构图模型。我们演示了 U-Net 如何自然地在这些生成式分层模型中实现置信传播去噪算法，并以此高效逼近去噪函数。此外，我们讨论了这些发现对生成式分层模型中扩散模型的更广泛影响，还证明了卷积神经网络 (ConvNets) 的传统架构在这些模型中非常适合分类任务，从而突显出生成式分层模型在语言和图像领域中建模复杂数据分布的多功能性。

    Apr, 2024

  • U-Time: 一种用于时间序列分割的全卷积网络，应用于睡眠分期

    本研究提出了 U-Time 算法，通过全连接前馈神经网络实现对睡眠数据进行分割和分类，相较于当下领先的深度学习算法，U-Time 算法具备更加强大的鲁棒性和更简单的训练流程，无需特定任务的调整或超参数调控，在多个研究数据集上展现了优异表现

    Oct, 2019

  • 基于图的 U-Net 模型用于预测未知城市的交通

    本研究旨在结合 U-Net 架构与图层操作，以提高交通数据预测的精确度和空间泛化能力。模型表现证明了该方法比基础 U-Net 更适用于预测不同道路网络的交通状况。

    Feb, 2022