May, 2023

CAMEL: 针对设备上高效学习，协同设计人工智能模型和嵌入式 DRAM

PDF
TL;DR本研究提出了使用嵌入式动态随机访问存储器 (eDRAM) 作为训练数据的主要存储介质来解决物联网 (IoT) 边缘设备上的深度神经网络训练问题，并设计了一种新颖的可逆 DNN 架构和高效的设备端训练引擎 CAMEL 来实现不需 eDRAM 刷新的数据训练过程， 从而大大减少了 DNN 训练的能耗并在验证精度上实现了类似（甚至更好）的性能。
发现论文，激发创造
  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022

  • 边缘可持续 AI 处理

    本研究比较探讨了卷积神经网络加速引擎对于边缘计算的可持续性及其对推理和在线训练的影响，特别关注了处理内存、移动 GPU 加速器和新型 Racetrack 存储器的使用。研究表明，采用更加可持续的处理器内存和移动 GPU 加速器可以有效减少计算的能源占用率。

    Jul, 2022

  • 嵌入式设备的在线持续学习

    本文研究了使用移动神经网络进行实时嵌入式设备上的在线连续学习的效果，通过测量它们的性能、内存使用、计算要求和对域外输入的泛化能力，验证了实时在设备上执行学习的有效性。

    Mar, 2022

  • X-TIME: 用于加速基于 CAMs 的表格数据机器学习的内存引擎

    在数据科学领域，结构化或表格形式的数据是最常见的格式。然而，在机器学习模型从表格中学习时，相比于简单的方法，深度学习模型的准确性要低得多。本文提出一种模拟 - 数字一体化架构，通过实现全新的高精度模拟内容寻址内存和可编程片上网络，实现了一种高效地实现基于树的机器学习模型（如 XGBoost 和 CatBoost）推理的方案。在 16 纳米技术完成的单芯片上，性能相比于最先进的 GPU 具有 119 倍的较低时延和 9740 倍的更高吞吐量，能够极大地加速科学发现。

    Apr, 2023

  • 面向 XR 应用的边缘 AI 硬件的基于内存的设计空间探索

    本研究旨在探索面向元宇宙应用的低功耗边缘人工智能能力，通过对手势识别和眼部分割工作负载的研究，以量化和硬件特定瓶颈的影响，评估了不同的硬件设计和不同技术节点，并引入新型的非挥发性存储器技术，证明了能够在满足最低 IPS 的情况下实现能耗显著的降低（> = 24%），同时区域显着缩小（> = 30％）。

    Jun, 2022

  • 移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

    深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

    Jan, 2024

  • 面向深度学习工作负载的数据流感知 PIM 启用多核架构

    设计原则和挑战研究了用于深度学习的数据流感知、处理器内存结合的多核平台。

    Mar, 2024

  • 一种 ReRAM 模拟神经训练加速器的能量、延迟、面积和准确性的多尺度共设计分析

    该研究详细分析了使用模拟电阻式存储器（ReRAM）跨栅执行关键矩阵操作以提高加速器性能，并与使用数字 ReRAM 和 SRAM 操作的相关设计进行了比较。结果显示，与类似的数字版加速器块相比，该模拟加速器具有能效更高的优势，并且可以成为进一步架构研究的基础。

    Jul, 2017

  • 通过协同计算内存网络中的频域压缩在边缘处控制模拟数据洪水

    通过使用频域学习方法和内存沉浸式协同数字化方法，该研究提出了一种改善深度学习推断任务中的面积效率的新方法，在处理来自传感器和物联网设备的高维多光谱模拟数据方面具有潜在的应用前景。

    Sep, 2023

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021