Apr, 2023

在 CPU 体系结构上通过高级循环和张量抽象利用深度学习和 HPC 核心技术

PDF
TL;DR该研究提出了一种用于开发高效、可移植的深度学习和高性能计算内核的框架，通过使用 Tensor Processing Primitives (TPPs) 表达计算核心，并通过简单的旋钮确定精确的实例化，我们在不同的 CPU 平台上展示了单独的核心和端到端工作负载，超越了现有技术的实现。
发现论文，激发创造
  • 学习优化张量程序

    该论文介绍了一个基于深度学习工作负载的张量程序优化学习框架，其通过学习领域特定的统计成本模型来引导张量操作实现的搜索，进而加速搜索，实现性能与手动调整的图书馆竞争力相当。

    May, 2018

  • cuDNN：深度学习高效基元

    创建了一个类似于 BLAS 的优化深度学习工作负载例程库，包含 GPU 的程序，易于集成到现有框架中，性能优化和内存使用率提高 36%。

    Oct, 2014

  • 使用 Halide 调度语言分析 DNN 加速器

    通过利用 Halide 的调度语言创建修改编译器以生成硬件，此研究研究了 DNN 加速器和它们的程序映射，并对现有的 DNN 加速器进行了形式上的分类，通过优化硬件资源分配，在保持吞吐量不变的情况下，可以取得 1.6~4.2 倍的能效提升。

    Sep, 2018

  • Tensor Comprehensions：通用的高性能机器学习抽象框架

    介绍了 TensorFlow、Chainer、CNTK、Torch/PyTorch、Caffe1/2、MXNet 和 Theano 等深度学习神经网络的竞争框架，并提出了一种名为 Tensor Comprehensions 的类数学语言，以及一个将深度学习 DAG 的数学描述转换为 CUDA 核心的即时编译器。

    Feb, 2018

  • 异构移动处理器上的深度学习推理：潜力与陷阱

    在资源受限的移动设备上部署计算密集型的深度学习模型以实现实时智能应用的需求与日俱增，在各种处理单元（如 CPU、GPU 和 NPU）的支持下，移动设备有潜力通过在异构处理器之间进行并行执行来加速深度学习推理。本文通过精心设计的实验，涵盖了各种深度学习模型、移动软件 / 硬件环境、工作负载模式和资源可用性，综合性地评估了在异构移动处理器上进行并行深度学习推理的能力和挑战，并确定了现有技术的局限性，并强调了跨层级优化的机会。

    May, 2024

  • 异构 HPC 平台深度学习硬件加速器调查

    该论文概述了近年来深度学习加速器的最新进展，并分类了最具影响力的架构和技术，以便提供给读者一个全面的视角，最终提供了一些关于深度学习加速器未来挑战的见解，例如量子加速器和光子学。

    Jun, 2023

  • 深度学习系统的超高性能和能量效率：一种算法 - 硬件协同优化框架

    本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的 DNN 算法 - 硬件协同优化框架，并在硬件部分采用高效的 FPGA 实现，实验表明与 IBM TrueNorth 处理器和参考的 FPGA 实现相比，该框架至少实现了 152 倍的加速和 71 倍的能效增益。

    Feb, 2018

  • 基于 SIMD 架构的高性能深度学习卷积解剖学

    本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核，该内核可在多节点下高效执行最新的图像识别任务，使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。

    Aug, 2018

  • 基于 CPU 的深度学习模型：高效训练的方法论

    本文提出了一种在 Intel CPU 上优化深度学习模型训练的方法和工具集 ProfileDNN 以及一个任务优化方法，旨在解决在选择适当硬件时成本和效率之间的权衡问题，并通过几个案例研究探讨了如何使用 ProfileDNN 和 Intel PyTorch 扩展来优化模型训练。

    Jun, 2022

  • 深度学习编译器：综述

    本研究综合调查了现有的 DL 编译器，重点关注了 DL 导向的多层 IR 设计和前端 / 后端优化，提供了各方面的全面比较，并且阐述了常见的优化技术以及潜在的研究方向。

    Feb, 2020