本文介绍了 Graph Neural Networks (GNNs) 领域关于基准测试框架的应用，通过该框架，可对模型进行比较，并且探索新的 GNN 设计和洞见，其中，图形位置编码 (PE) 是该基准测试框架中引入的重要设计之一。

Mar, 2020

目前的图神经网络系统在不显示训练准确率结果的同时，直接或间接地依赖较小的数据集进行评估，这导致系统设计和评估过程中存在许多陷阱，质疑了许多已提出的系统优化的实用性及其结论和经验教训，我们对许多单 GPU 系统进行了分析，展示了这些陷阱的基本影响，进一步提出了假设、建议和评估方法，并提供未来发展方向。最后，我们开发了一个新的参考系统，以解决系统设计的陷阱，从而真正推动技术进步。

Feb, 2024

本研究提供了第一个公平、可重复的基准测试，重点研究了训练深度图神经网络中的技巧，并利用该测试在数十个代表性图数据集上进行了全面评估，证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度 GNN 在大型数据集上的最新成果。

Aug, 2021

本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为 EnGCN 的新的集成训练方式。

Oct, 2022

本文通过使用官方代码、数据集、设置和超参数，对 12 个最近的异质图神经网络进行了系统的复现，揭示了关于 HGNNs 进展的惊人发现。发现由于不当的设置，简单的同质 GNNs 被大大低估，GAT 在适当的输入情况下可以在各种情况下与或胜过所有现有的 HGNNs。为了促进鲁棒且可重复的 HGNN 研究，我们构建了异质图基准 (HGB)，其中包括具有三个任务的 11 个不同的数据集。HGB 规范了异质图数据分割、特征处理和性能评估的流程。最后，我们介绍了一个简单但非常强大的基准 Simple-HGN，它在 HGB 上明显优于所有先前的模型，以加速未来 HGNNs 的发展。

Dec, 2021

通过在 PyTorch Geometric 软件框架中实现科学计算所需的低级操作并在 NVIDIA A100 GPU 上进行基准测试，我们发现在专用硬件平台上具有关键作用的操作时限制内存效率的瓶颈而不仅仅是数据稀疏性，希望这些结果能成为此类操作的基准，并有助于未来的软件和硬件优化，从而实现可扩展的 GNN 性能的整体增强。

Jul, 2022

使用结构或功能连接来绘制人脑的连通图已成为神经影像分析中最普遍的范例之一。 本文提出 BrainGB 作为探索有效的 GNN 设计的基准，来实现开放和可复现的基于 GNN 的大脑网络分析研究。

Mar, 2022

我们提供了 GADBench - 一个静态图中监督异常节点检测的全面基准测试。我们的主要发现是，使用简单邻域聚合的树集成优于所有其他基线，包括针对 GAD 任务量身定制的最新 GNN。

Jun, 2023

通过建立一个全面的评估框架，我们提出了第一个用于 GNN-based SAT solvers 的基准研究，对各种预测任务、训练目标和推理算法的广泛范围的 GNN 模型进行了基准测试，结果展示了 GNN-based SAT solvers 的性能以及现有模型在学习策略方面的局限性。

Sep, 2023

本研究提出了一种二进制图神经网络的高效推理后端的重新设计，旨在充分地发挥加速器硬件性能潜力；在实际图形中，使用 GCNs、GraphSAGE 和 GraphSAINT 的结果表明，使用相同的精度，所提出的技术比最先进的二进制 GNN 实现快 8-22 倍。

May, 2023