Nov, 2019

使用产品数据总结 CPU 和 GPU 设计趋势

PDF
TL;DR本文测试了摩尔定律和丹纳德定律的效力，发现虽然晶体管的缩小仍然是很关键的，但架构方案也变得越来越重要，并且 GPU 在性能上优于 CPU，但得益于 CPU 的新的 SIMD 扩展和核心数量的增加，GPU 和 CPU 在性能上的比例逐渐接近。
moore's lawdennard scalingsemiconductor industrycpugpu
发现论文，激发创造
  • 机器学习加速器调查和基准测试

    本文研究了公开宣布具有性能和功耗数字的多核处理器和加速器的现状，发现其中一些趋势，包括功耗、数字精度以及推理与训练等方面的趋势，并选择并测试了两个低尺寸、重量和功率的商用加速器的实际表现，将其与报道的性能和功耗数值进行比较，并将其与嵌入式应用程序中使用的 Intel CPU 进行评估。

    Aug, 2019

  • 可持续 AI 超级计算：HPC 规模下的 GPU 功率限制

    研究 AI 硬件加速器的功耗限制对 GPU 温度和功耗的综合影响，发现适当的功耗限制可以显著降低温度和功耗，提高硬件使用寿命，对任务性能影响较小；然而，功耗限制对整体能源消耗的效果不明确，用户可能因 GPU 功耗限制而请求额外的 GPU 任务，抵消能源节约甚至使能源消耗更严重，因此希望鼓励 HPCs / 数据中心进一步研究、评估和传达功耗限制 AI 硬件加速器对更可持续的 AI 的影响。

    Feb, 2024

  • 2.5D 芯片平台中的硅光子学机器学习加速器

    本文描述了如何将光计算和通信集成到 2.5D 芯片平台中，从而驱动一类新型的可持续扩展的机器学习硬件加速器，以加速新兴的机器学习工作负载，通过跨层设计、硬件 / 软件协同设计和硅光子设计制备。

    Jan, 2023

  • 通过微基准测试解析 NVidia Turing T4 GPU

    通过使用微基准测试来研究图形处理器的体系结构，本研究揭示了最新的 Turing 架构相比先前的 Nvidia GPU 生成量的优劣，并研究了针对推理应用的 T4 GPU 的性能。

    Mar, 2019

  • 与硬件协同设计模型架构的案例

    通过仔细考虑 GPU 上执行的基础计算核心的各种模型超参数对模型形状效率的影响，我们提供了一套指南，以最大化用户的 Transformer 模型的运行时性能。通过优化模型形状，与具有类似参数但形状未经优化的模型相比，高效模型形状的吞吐量提高了多达 39％，同时保持准确性。

    Jan, 2024

  • 暗硅时代的黑暗内存和加速器丰富的系统优化

    在 Dark Silicon 时代，Dark Memory 状态对于算法并行性和局部性与硬件的协同设计是实现能效和高性能的关键，并通过创建特定加速器和使用 Pareto 曲线来解决能源 / 操作和 mm2 / (ops/s）度量空间的能量性能与面积权衡问题。

    Feb, 2016

  • 用于机器学习的光子张量核心

    介绍了一种用于矩阵向量乘法和求和的集成光子学 TPU，通过利用波长分割复用、纳秒级延迟和基于相变材料的光学多态存储器，结合这些材料、功能和系统的物理协同作用，展示了这种 8 位光子 TPU 的性能比电子 TPU 高 2-3 个数量级，而占用的芯片面积类似，表明光子专用处理器在增强电子系统方面具有潜力，并且在即将到来的 5G 网络及其后面的网络边缘设备中表现特别出色。

    Feb, 2020

  • 用于深度学习能耗缩放律的晶体管操作模型

    本文提出基于底层晶体管操作的方法来研究深度学习中非线性激活函数和神经网络结构对能量消耗的影响，实验证明该方法可以高度准确地预测深度学习模型的能量消耗。

    May, 2022

  • 张量处理单元的数据中心性能分析

    本研究是对 Tensor Processing Unit (TPU) 这种加速神经网络 (NN) 推理阶段的定制 ASIC 进行的评估，与同样部署在数据中心的 Intel Haswell CPU 和 Nvidia K80 GPU 相比，TPU 在保证相应时间的情况下比 GPU 或 CPU 平均快 15 倍 - 30 倍，TOPS/Watt 比 GPU 提高近 70 倍，比 CPU 提高 200 倍。

    Apr, 2017

  • 计算层间的能耗评估：从设备到机器学习中的自然语言处理、科学计算和加密货币挖掘的大规模应用

    从设备到算法的计算层面的能耗估计和分析揭示了能源使用的影响因素。这项研究还对包括人工智能 / 机器学习在自然语言处理、科学模拟和加密货币挖掘等三个大规模计算应用领域的能源需求进行了估算。此外，对人工智能 / 机器学习加速器的分析显示，使用较旧的半导体技术节点的体系结构比使用较新技术的不同体系结构具有相当的能效。这些能耗估算强调了计算中能源效率的重要性，包括将能源作为设计参数，以满足数字世界中计算密集型应用的不断增长的需求。

    Oct, 2023