时间网络需要复杂模型架构吗？

Feb, 2023

Do We Really Need Complicated Model Architectures For Temporal Networks?

Weilin Cong, Si Zhang, Jian Kang, Baichuan Yuan, Hao Wu...

TL;DR本文提出 GraphMixer 框架，该框架由三个组件组成，使用 MLP 和邻居均值池化技术相结合，能够更快地收敛，并在时序链接预测任务上取得了优秀的性能表现，从而重新思考了更为简单的模型架构对于时序图学习的重要性。

Abstract

recurrent neural network (RNN) and self-attention mechanism (SAM) are the de facto methods to extract spatial-temporal information for temporal graph learning. Interestingly, we found that although both RNN and S

recurrent neural network self-attention mechanism temporal graph learning graphmixer link prediction

发现论文，激发创造

一个门控的 MLP 架构用于学习时空图中的拓扑依赖关系

通过利用拓扑非平凡不变量，我们提出了一种新的基于时空图的图神经网络 (Cy2Mixer)，它由消息传递块、循环消息传递块和时间块组成，有效地捕捉了时空图的空间和时间关系，并在各种交通基准数据集上展示了最先进的性能。

Jan, 2024

结构化递归神经网络：时空图上的深度学习

本文提出了一种结合高级时空图和序列学习成功的递归神经网络（RNN）的方法，通过将任意时空图转化为丰富的 RNN 混合物来提高模型性能，适用于模拟人类运动到对象交互等多种问题领域。

Nov, 2015

深度时空图建模的图卷积网络 (Graph WaveNet)

本文介绍了一种新型的图神经网络，Graph WaveNet，它采用了自适应依赖矩阵和扩张卷积组件，能够精确捕捉数据中的隐藏空间依赖关系和处理非常长的时间序列，通过在两个公共交通网络数据集中的实验结果，证明了我们算法的优越性。

May, 2019

可扩展的时空图神经网络

本文提出了一种可扩展的体系结构，利用随机循环神经网络将输入时序的历史数据嵌入到高维状态表示中，并利用不同幂次的图相邻矩阵沿空间维传播以生成节点嵌入，从而实现多尺度的时空特征表示，我们的方法在保证结果竞争力的同时，大大降低了计算负担。

Sep, 2022

自注意力机制的优势：神经机器翻译结构的定向评估

本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

Aug, 2018

循环时序修正图网络

用递归神经网络对时态图的邻居进行汇聚，以获取来自每个节点的完整邻居信息，从而提供具有卓越的理论表达能力和在真实应用中的最先进性能，其中在一个真实世界的电子商务数据集上，相比于现有模型的 2 层模型，平均精确度显著提高了 9.6%。

Sep, 2023

SST-GNN: 基于图神经网络的简化时空交通预测模型

本文提出了一种称为简化空时交通预测 GNN 的模型，它通过对不同邻域进行分别聚合的方式有效地编码了空间依赖性，并使用简单而有效的加权空时聚合机制捕获时间依赖性，而且使用了一种新颖的位置编码方案来捕获周期性的交通模式，实验表明该模型优于最先进的交通预测模型。

Mar, 2021

MLP-Mixer: 一种用于视觉的全 MLP 架构

本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

May, 2021

利用时间注意力在网格化简空间中预测物理

本文提出一种基于图的下一步预测模型，采用了一种类 Transformer 的时序关注模型来捕捉长期的依赖关系，利用编码器 - 解码器结构来总结特征和创建系统状态的紧凑网格表示，并在几个复杂的流体力学预测任务中优于竞争性 GNN 基线，可以帮助解决高维物理问题的序列建模。

Jan, 2022

TSMixer: 一种基于全 MLP 的时间序列预测架构

本文研究线性模型在时间序列预测中的能力，提出了一个基于多层感知机的模型 TSMixer，通过在时间和特征维度上的混合操作提取信息。TSMixer 在常见的学术基准测试中表现出和专业模型类似的性能，在真实世界的 M5 基准测试数据集上表现出比先进模型更好的性能。本文的结果强调了有效利用交叉变量和辅助信息以提高时间序列预测性能的重要性，并且预计 TSMixer 的设计范例会为基于深度学习的时间序列预测开启新的视野。

Mar, 2023