May, 2022

SmartSAGE: 使用存储处理架构训练大规模图神经网络

PDF
TL;DR本文针对大规模图神经网络 GNN 训练所需的巨大存储容量和内存限制的问题，提出了一种基于存储器的处理（ISP）架构的解决方案 SmartSAGE，使 GNN 训练系统具有高容量存储和高性能。
graph neural networkslarge-scale trainingin-storage processingmemory optimizationperformance improvement
发现论文，激发创造
  • 降低基于磁盘的 GNN 训练中的内存争用和 I/O 拥塞

    GNNDrive 通过综合的缓冲区管理和异步特征提取策略来最小化内存占用，避免内存和 I/O 的竞争，并充分利用软件和硬件资源。实验证明 GNNDrive 在 Papers100M 数据集上训练 GraphSAGE 模型时，比 SoTA PyG+、Ginex 和 MariusGNN 分别快 16.9 倍、2.6 倍和 2.7 倍。

    Jun, 2024

  • 大规模图训练的全面研究：基准测试和重新思考

    本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为 EnGCN 的新的集成训练方式。

    Oct, 2022

  • LightSAGE：Shopee 广告推荐中的大规模商品检索的图神经网络

    在 Shopee 的大规模电子商务商品检索中，我们采用了图神经网络（GNN）及其简单但创新且有影响力的技术，包括图构建、建模和处理数据偏斜，以提高离线评估和在线 A/B 测试，并将模型部署到 Shopee 推荐广告系统的主要流量中。

    Oct, 2023

  • 可扩展的 Inception 图神经网络 (SIGN)

    本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

    Apr, 2020

  • FlashGraph: 在一组通用 SSD 上处理数十亿节点图

    通过在用户空间 SSD 文件系统上实现图处理引擎，使用闪存硬盘并利用多核服务器的处理能力，FlashGraph 在半外部存储器中执行许多算法并表现出众，可表达各种图形算法及其优化。

    Aug, 2014

  • 高效深度学习的动态稀疏图

    本文提出了一种通过动态和稀疏的图结构来执行深度神经网络（DNNs）进行压缩存储和加速执行的方法，该方法在训练和推断时均可应用，以优化深度神经网络的轻量化模型。实验证明该方法可以显著提供存储和操作的性能，并在各种基准测试中几乎无损失地维护准确性。

    Oct, 2018

  • 利用 GPU 发起直接存储访问加速 GNN 框架中的采样和聚合操作

    文中作者提出了 GPU Initiated Direct Storage Access (GIDS) 数据加载器来解决图嵌入和采样问题，以实现大规模图的 GPU 优先训练及优化，该方法将整个 DGL GNN 训练加速了最高可达 392 倍。

    Jun, 2023

  • 在密集硬件上快速训练稀疏图神经网络

    本研究通过优化稀疏矩阵算法，使用面向固定大小数据的平台扩展了稀疏图神经网络模型，使用 512 核 TPUv2 Pod 仅用 13 分钟训练，而原始训练需要近一天。

    Jun, 2019

  • LinkSAGE: 使用图神经网络优化工作匹配

    我们提出了 LinkSAGE，这是一个创新的框架，将图神经网络（GNNs）集成到大规模个性化求职匹配系统中，旨在解决 LinkedIn 广泛专业网络的复杂动态。LinkSAGE 的关键创新之一是其训练和服务方法，它有效地将异构，演化图上的归纳图学习与编码器 - 解码器 GNN 模型相结合。LinkSAGE 在多个在线 A/B 测试中得到验证，展示了会员参与度、相关匹配和会员保留方面的显着改进，证实了其普适性和实际影响。

    Feb, 2024

  • 子图站点硬件 - 软件推断协同设计

    该研究论文提出了一种基于权重共享超网络机制的子图固定（SGS）优化方法，通过在动态环境下提供流式查询，实现了机器学习的更好的预测精度和更短的响应时间。

    Jun, 2023