Apr, 2024

迁移机器学习模型至智能处理单元的洞察

PDF
TL;DR通过探索 Intelligence Processing Units (IPUs) 的优化技巧以及将专用模型迁移到 IPU 平台，本研究表明 IPU 是机器学习、材料科学和电池研究领域中 GPU 的一种可行加速器替代方案。在多次充放电循环中，本研究还展示了 IPU 上进行有效电导率预测任务时使用卷积神经网络 (CNN) 架构模型与 GPU 执行相当的性能，并通过基准测试发现 Graphcore 的 Bow IPU 相较于 Colossus IPU 有显著的性能改善。
发现论文，激发创造
  • 通过微基准测试解剖 Graphcore IPU 架构

    本文介绍了新型、大规模并行平台 —— 智能处理单元（IPU）的架构和性能，并使用受其目的所驱动的微基准测试来剖析 IPU 的性能行为，同时研究了 IPU 的内存组织和性能、芯片内部和外部互连提供的延迟和带宽、计算能力以及与理论极限相比的实际性能表现，旨在为读者提供简单的心理模型，以便根据涉及的计算和通信步骤来预测应用程序在 IPU 上的性能。

    Dec, 2019

  • 利用蝴蝶分解减少 IPU 的内存需求

    高性能计算从硬件平台的不断改进中受益，在保持合理功耗的同时提供更多的处理能力。智能处理单元（IPU）是一种新型的大规模并行处理器，旨在加速具有大量处理核心和高速内存组件的并行计算。本文研究了如何在 IPU 上实现蝶形结构，并研究了它们与 GPU 的行为和性能的比较。实验结果表明，这些方法可以提供 98.5% 的压缩比，减少对内存的极度需求。在蝶形和像素化蝶形方面，IPU 的实现可以获得 1.3 倍和 1.6 倍的性能改进。我们还在 CIFAR10 等实际数据集上实现了 1.62 倍的训练时间加速。

    Sep, 2023

  • 评估新兴 AI/ML 加速器：IPU，RDU 和 NVIDIA/AMD GPU

    本研究对商业 AI / ML 加速器进行了初步评估和比较，通过对常见 DNN 运算符和其他 AI / ML 工作负载的一系列基准评估，揭示了数据流架构相对传统处理器设计的优势和性能权衡，并为研究原型的设计和性能期望提供了有价值的参考，从而促进为不断发展的 AI / ML 应用领域量身定制的下一代硬件加速器的发展。

    Nov, 2023

  • 利用分布式内存驱动多核处理器加速稀疏和循环模型的训练

    通过在分布式本地内存上使用稀疏和循环模型训练方法，我们观察到与 GPU 相比，使用 MIMD 处理器 (Intelligence Processing Unit) 的稀疏激活张量在训练负载上实现了 5-10 倍的吞吐量增益，且在训练收敛或最终模型性能上没有明显减慢。

    Nov, 2023

  • 机器学习辅助的卷积神经网络推断系统计算机架构设计

    我们的工作通过识别最合适的 GPGPU 用于 CNN 推理系统，提出了一种加快 DSE 过程的方法。我们开发了一种快速而精确的技术来预测 CNN 推理过程中的功耗和性能，MAPE 分别为 5.03％和 5.94％。这种方法使计算机架构师能够在开发初期估计功耗和性能，减少了大量原型的必要性。这不仅节省了时间和金钱，同时也改善了上市时间。

    Aug, 2023

  • 张量处理单元的数据中心性能分析

    本研究是对 Tensor Processing Unit (TPU) 这种加速神经网络 (NN) 推理阶段的定制 ASIC 进行的评估，与同样部署在数据中心的 Intel Haswell CPU 和 Nvidia K80 GPU 相比，TPU 在保证相应时间的情况下比 GPU 或 CPU 平均快 15 倍 - 30 倍，TOPS/Watt 比 GPU 提高近 70 倍，比 CPU 提高 200 倍。

    Apr, 2017

  • 内存模拟计算架构与张量处理单元的异构集成

    提出了一种新颖的异构混合信号混合精度架构，将 IMAC 单元与边缘 TPU 集成以提高移动 CNN 性能，借助 TPUs 卷积层和 IMAC 电路密集层的优势，设计了一种统一的混合精度训练算法，模拟结果表明，TPU-IMAC 构型在各种 CNN 模型中实现了高达 2.59 倍的性能提升和 88％的内存减少，同时保持了可比较的准确性。该架构对于边缘计算和移动设备中的实时处理等需要能源效率和高性能的应用具有潜在的影响。

    Apr, 2023

  • 基于 CPU 的深度学习模型：高效训练的方法论

    本文提出了一种在 Intel CPU 上优化深度学习模型训练的方法和工具集 ProfileDNN 以及一个任务优化方法，旨在解决在选择适当硬件时成本和效率之间的权衡问题，并通过几个案例研究探讨了如何使用 ProfileDNN 和 Intel PyTorch 扩展来优化模型训练。

    Jun, 2022

  • 在 CPU 上加速大型语言模型的推断

    利用 CPU 加速大型语言模型推理的并行化方法提高吞吐量，通过利用现代 CPU 体系结构的并行处理能力和批处理推理请求，与多个工作程序在同一设备上运行以进行更多的吞吐量改进，可以减少 LLM 的功耗约 48.9％，并提供具备生产环境的吞吐量和延迟。

    Mar, 2024

  • 机器学习训练在实际处理内存系统上的实验评估

    研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

    Jul, 2022