Apr, 2023

内存模拟计算架构与张量处理单元的异构集成

PDF
TL;DR提出了一种新颖的异构混合信号混合精度架构，将 IMAC 单元与边缘 TPU 集成以提高移动 CNN 性能，借助 TPUs 卷积层和 IMAC 电路密集层的优势，设计了一种统一的混合精度训练算法，模拟结果表明，TPU-IMAC 构型在各种 CNN 模型中实现了高达 2.59 倍的性能提升和 88％的内存减少，同时保持了可比较的准确性。该架构对于边缘计算和移动设备中的实时处理等需要能源效率和高性能的应用具有潜在的影响。
tensor processing unitsconvolutional neural networksin-memory analog computingmixed-precision architectureunified learning algorithm
发现论文，激发创造
  • 张量处理单元的数据中心性能分析

    本研究是对 Tensor Processing Unit (TPU) 这种加速神经网络 (NN) 推理阶段的定制 ASIC 进行的评估，与同样部署在数据中心的 Intel Haswell CPU 和 Nvidia K80 GPU 相比，TPU 在保证相应时间的情况下比 GPU 或 CPU 平均快 15 倍 - 30 倍，TOPS/Watt 比 GPU 提高近 70 倍，比 CPU 提高 200 倍。

    Apr, 2017

  • 面向仅限 CAM 的 DNN 推理的全栈优化

    基于赛道存储器 (RTM) 实现的关联处理器 (APs) 和三值权重神经网络的算法优化结合的新型编译流路，可显著提高 ResNet-18 在 ImageNet 上的能效，同时保持软件准确性。

    Jan, 2024

  • 基于边缘的高效模拟内存计算与不确定性量化的医学图像分割

    该研究探讨了新兴的模拟内存计算（AIMC）在医疗人工智能分析中的作用，并改善边缘计算中模型的准确性。通过对比 AIMC 的效率与传统数字计算的局限性，对脑肿瘤分析、脾脏分割和核分割进行了全面评估。研究重点突出了各向同性架构的出色鲁棒性，在模拟感知训练中仅出现最小的准确度下降（0.04），而棱锥体结构则出现显著下降（高达 0.15）。此外，该论文强调了 IMC 的有效数据流水线处理，减少延迟，增加吞吐量，并巧妙地利用 AIMC 内在的噪音来增强模型的确定性。

    Feb, 2024

  • 卷积神经网络边缘 TPU 加速器评估

    本文介绍 Edge TPUs 的微体系结构细节、它们在不同计算生态中的性能表现以及开发高精度机器学习模型来评估加速器主要性能指标的努力，并讨论了 Edge TPU 加速器在不同结构的 CNN 上的性能表现。

    Feb, 2021

  • 利用分布式内存驱动多核处理器加速稀疏和循环模型的训练

    通过在分布式本地内存上使用稀疏和循环模型训练方法，我们观察到与 GPU 相比，使用 MIMD 处理器 (Intelligence Processing Unit) 的稀疏激活张量在训练负载上实现了 5-10 倍的吞吐量增益，且在训练收敛或最终模型性能上没有明显减慢。

    Nov, 2023

  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

    May, 2022

  • 使用 AutoML 实现加速器感知的神经网络设计

    采用硬件意识神经架构搜索，设计了一类适用于 Edge TPU 的计算机视觉模型，有效提升了实时图像分类性能并在像素 4 的边缘 TPU 上改善了精度 - 延迟权衡。

    Mar, 2020

  • AnalogNAS: 一种用于准确推断的神经网络设计框架，基于模拟内存计算

    本文提出了一种名为 AnalogNAS 的自动化 DNN 设计框架，目标是部署在模拟内存计算推理加速器上，通过大量的硬件模拟，展示 AnalogNAS 在各种 TinyML 任务上的性能，以及在 64 核 IMC 芯片上实现的模型较 SOTA 模型具有更高的准确性。

    May, 2023

  • 探索 AI 应用中的 TPUs

    本研究论文主要探讨了谷歌开发的专门用于深度学习的 Tensor Processing Units（TPUs）在边缘计算中的性能表现，研究了 TPUs 的设计、总体架构、编译技术和支持框架，并对云端和边缘 TPU 的性能进行了比较分析，结果显示 TPUs 在云端和边缘计算中都能显著提高性能。此外，文章还提到了在边缘 TPU 部署更多架构的需求，以及在边缘计算中进行更稳健比较的需求。

    Sep, 2023

  • 用于内存计算的多目标神经架构搜索

    我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过 6.4 亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的 NAS 方法在 IMC 架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。

    Jun, 2024