本文提出了一种新颖的基于 transformer 的网络结构 FlowFormer, 结合 Masked Cost Volume AutoEncoding (MCVA) 预训练，用于解决光流估计问题，并在 Sintel 和 KITTI-2015 基准测试中实现了最佳性能，特别是 FlowFormer + MCVA 在 Sintel 基准测试中实现了 1.07 和 1.94 AEPE，并实现了 7.76％和 7.18％的误差降低。

Jun, 2023

FlowFormer 是一种基于 Transformer 网络的神经网络结构，用于学习光流，并在 Sintel 基准测试中获得了最佳效果。

Mar, 2022

通过引入 TransFlower，一种可解释的、基于 Transformer 的模型，使用流量 - 流量注意力来预测城市通勤模式，我们的研究在运动力学方面取得了 30.8% 的改进，为城市规划和政策决策提供了重要的移动动态洞察。

Feb, 2024

本文提出了一种新型、基于图的生成模型 —— 图可逆正则流，并尝试将其应用于监督学习和非监督学习任务中，与其他自回归模型相比表现良好且更适合于并行计算架构。

May, 2019

本文提出了一种基于新的所有对消息传递机制和核化 Gumbel-Softmax 算子的节点分类网络，名叫 NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

Jun, 2023

基于图神经网络的新型智能体架构 —— 消息传递变换器，结合了消息传递框架，采用了编码器 - 处理器 - 解码器结构，以及应用了图傅里叶损失作为模型优化的损失函数。

Jun, 2024

本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

Dec, 2020

利用预测器进行神经结构搜索（NAS）优化的方法大大提高了其有效性，本文对神经网络架构的编码方法进行了分类和研究，包括结构编码、学习编码和基于分数的编码，并引入了统一编码方法，进一步扩展了 NAS 预测器的应用范围。此研究基于在 NASBench-101（NB101）、NB201、NB301、Network Design Spaces（NDS）和 TransNASBench-101 等 NAS 领域超过 150 万个神经网络架构进行的实验证明，我们提出的预测器 FLAN（流动关注）通过融合预测器设计、迁移学习和统一编码，在训练 NAS 准确性预测器时能大幅度降低成本。所有神经网络的实现和编码方式均已在 https://github.com/abdelfattah-lab/flan_nas 开源。

Mar, 2024

本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

May, 2021

本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

Nov, 2019