利用粗化策略提升多层感知机在长期时间序列预测中的性能

May, 2024

利用粗化策略提升多层感知机在长期时间序列预测中的性能

Boosting MLPs with a Coarsening Strategy for Long-Term Time Series Forecasting

Nannan Bian, Minhong Zhu, Li Chen, Weiran Cai

TL;DR基于卷积的 Coarsened Perceptron Network (CP-Net) 提出，通过提取短期语义和上下文模式来提高多层感知机（MLPs）的预测能力，具有简单的架构和低运行时间，相较于 SOTA 方法改进了 4.1% 以上，窗口拓展时模型进一步利用了暴露的信息。

Abstract

deep learning methods have been exerting their strengths in long-term time series forecasting. However, they often struggle to strike a balance between expressive power and computational efficiency. Here, we propose the Coarsened Perceptron Network (CP-Net), a novel architecture that e

deep learning time series forecasting coarsened perceptron network mlps predictive capability

发现论文，激发创造

MPPN: 多分辨率周期模式网络用于长期时间序列预测

本文提出了一种新颖的深度学习网络结构 MPPN，用于长期时间序列预测，该结构采用多分辨率语义单元、多周期模式挖掘和通道自适应模块来捕捉时间序列的本质模式，并提出了基于熵的评估方法来提高预测精度。在九个真实世界基准测试中，实验结果表明，MPPN 显著优于现有的基于 Transformer、分解和采样的长期时间序列预测方法。

Jun, 2023

通过图缩减扩展图神经网络规模

本文提出了一种使用图粗化来实现可扩展 GNN 训练的不同方法，详细介绍了图粗化操作的影响和选择方法，并表明图粗化也可看作一种正则化手段。实证结果表明，简单地应用成熟的粗化方法，可以将节点数降低到原来的十分之一而不会导致分类精度的明显下降。

Jun, 2021

MPR-Net：多尺度模式再现引导的时间序列普适可解释预测

该研究提出了一种时序预测模型，MPR-Net，通过卷积和反卷积操作，适应性地分解多尺度历史序列，并基于模式复制的先前知识构建了模式扩展预测方法，由于利用了时间依赖性，MPR-Net 不仅实现了线性时间复杂度，而且使预测过程可解释。该模型在短期和长期预测任务的十多个真实数据集上进行了充分实验，表现出最先进的预测性能以及良好的泛化性和鲁棒性能。

Jul, 2023

多维时间序列预测的随机投影层

我们提出了一种名为 RPMixer 的全多层感知机时间序列预测架构，通过将随机投影层集成到模型中，增强了其整体性能，并在大规模时空预测基准数据集上展开的广泛实验表明，我们的方法优于其他方法，包括时空图模型和一般预测模型。

Feb, 2024

具有粗糙剪枝的紧凑卷积神经网络

通过对特征图和卷积核级别进行修剪，可以减少深度卷积神经网络的计算复杂性，而且在 CIFAR-10 数据集上的实验证明，在保持基线网络误分类率不到 1% 的情况下，可以在卷积层中引入超过 85% 的稀疏性。

Oct, 2016

重组网络：学习由粗到细的特征聚合

本文介绍了一种名为 “Recombinator Networks” 的模型，该模型可以在不影响鲁棒性的前提下，通过信息重组的方式实现对精确定位的支持，相较于传统的基于求和和拼接的方法，其精度有显著提升，并将误差降低了 30％。同时作者还提出了基于卷积神经网络的去噪预测模型，进一步提升了该模型的性能。

Nov, 2015

Fine-tuned CP 分解加速卷积神经网络

该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

Dec, 2014

多尺度膨胀卷积网络用于长期时间序列预测

通过使用浅层扩张卷积架构以捕捉长时间序列的周期性和趋势特征，我们提出了多尺度扩张卷积网络 (MSDCN) 的方法，并设计了具有指数增长扩张和不同卷积核大小的不同卷积块来在不同尺度上采样时间序列数据。此外，我们利用传统的自回归模型来捕捉数据内的线性关系。通过在八个具有挑战性的长期时间序列预测基准数据集上进行实验证明，我们的方法优于先前的最先进方法，并与几种强基准方法相比显示出显著的推理速度改进。

May, 2024

通过精确的梯度反向传播改进下采样，提高基于 Transformer 的突触型神经网络性能

本文提出了 ConvBN-MaxPooling-LIF（CML）这种新型降采样方式以解决现有状态下深度脉冲神经网络（包括 Spikformer 和 Spikingformer）中梯度误差向后传播不准确的问题，并且在 ImageNet、CIFAR10、CIFAR100、CIFAR10-DVS、DVS128-Gesture 等数据集上验证 CML 显著提高模型性能，与 Spikingformer 比较，例如在 ImageNet，CIFAR10-DVS 上分别可以增加 1.79%，81.4% 的性能。

May, 2023

网络结构之战：CNN、Transformer 和 MLP 的实证研究

本文比较了卷积神经网络、Transformer、multi-layer perceptron 等算法的优劣，并在 SPACH 框架下进行了实验，结果显示，使用卷积和 Transformer 模块的混合模型已经能够实现与其他模型相同的准确率。

Aug, 2021