Aug, 2023

TpuGraphs: 大型张量计算图的性能预测数据集

PDF
TL;DR该论文介绍了基于 Tensor Processing Units（TPUs）上运行的完整张量程序（表示为计算图）的性能预测数据集 TpuGraphs，该数据集提供了大规模图的图级预测任务，涉及规模可比较的图属性预测数据集的 25 倍的图，以及平均比现有的机器学习程序性能预测数据集大 770 倍的大型图，从而带来了从可伸缩性、训练效率到模型质量等方面的新挑战。
hardware performance modelscode optimizationsautotunersperformance prediction datasetcomputational graphs
发现论文，激发创造
  • 巨大的：使用 TPU 实现大规模无监督图嵌入

    图嵌入是网络理解的常用方法，本论文提出了一种基于 Tensor Processing Units 的高性能图嵌入架构，能够解决大规模图的嵌入问题，并通过真实和合成的大规模数据集验证了嵌入空间的质量。

    Jul, 2023

  • 张量处理单元的数据中心性能分析

    本研究是对 Tensor Processing Unit (TPU) 这种加速神经网络 (NN) 推理阶段的定制 ASIC 进行的评估，与同样部署在数据中心的 Intel Haswell CPU 和 Nvidia K80 GPU 相比，TPU 在保证相应时间的情况下比 GPU 或 CPU 平均快 15 倍 - 30 倍，TOPS/Watt 比 GPU 提高近 70 倍，比 CPU 提高 200 倍。

    Apr, 2017

  • 用于时态图机器学习的时态图基准测试

    Temporal Graph Benchmark 是一个收集了各种涉及社交、贸易、交通等网络领域的大规模数据集，用于实现机器学习模型在时间图上的现实、可重复和强大的评估。此外，该研究表明对于动态节点属性预测任务，简单的方法往往比现有的时间图模型表现更好，并提供了一个自动化的机器学习流程用于可重复和可访问的时间图研究。

    Jul, 2023

  • TSPP：一种用于时间序列预测的统一基准工具

    通过提出一个可扩展的合成图生成工具，该工具从专有数据集中学习一系列参数模型，可以为研究人员提供研究各种图方法的合成数据，从而实现原型开发和创新应用的目的。

    Dec, 2023

  • 使用图神经网络模拟张量程序的执行时间

    本研究提出了一种基于抽象语法树的图形卷积网络的代理模型，以优化张量程序（如卷积）的执行时间。我们通过一个新的数据集来验证其有效性，并为运行时间预测任务提供了基线。

    Apr, 2019

  • 探索在 Google TPUs 上进行 ML 训练的并发限制

    本文提出了一些技术来在 Google TPU Multipod 上扩展 ML 模型，讨论了模型并行处理，解决数据并行处理中批处理大小的扩展限制，以及一些性能优化方法，并用 TensorFlow 和 JAX 框架进行了演示，同时给出了 MLPerf-v0.7 竞赛结果，获得了四个 MLPerf 模型的最快训练时间记录。

    Nov, 2020

  • TensorFlow：大规模机器学习系统

    TensorFlow 是一个机器学习系统，使用数据流图表示计算，共享状态以及操作，支持训练和推理深度神经网络等应用，并在多种真实世界应用中取得了出色的性能表现。

    May, 2016

  • TUDataset: 用于图形学习的基准数据集集合

    本文介绍了 TUDataset 数据集，提供了 Python 数据加载程序、核心和图神经网络基线实现以及评估工具等，用于解决图数据上（监督）学习领域中数据集和评估程序的不足，并提供了标准化的评估方法和基准实验。

    Jul, 2020

  • 张量计算运行时的查询处理

    通过 Tensor Query Processor 实现 SQL 查询到张量程序的转换，并在 Tensor Computation Runtimes 上执行，能够加快查询执行时间并支持混合 ML 预测和 SQL 的查询。

    Mar, 2022

  • TEP-GNN: 使用图神经网络准确预测功能测试的执行时间

    该论文提出了一种基于流量增强的 AST 和图神经网络模型的高精准度性能预测方法 TEP-GNN，其在四个现实情况下的 Java 开源项目中被证明是可行的，但需要进一步工作来使训练的模型适用于其他未知项目。

    Aug, 2022