Apr, 2023

X-TIME: 用于加速基于 CAMs 的表格数据机器学习的内存引擎

PDF
TL;DR在数据科学领域，结构化或表格形式的数据是最常见的格式。然而，在机器学习模型从表格中学习时，相比于简单的方法，深度学习模型的准确性要低得多。本文提出一种模拟 - 数字一体化架构，通过实现全新的高精度模拟内容寻址内存和可编程片上网络，实现了一种高效地实现基于树的机器学习模型（如 XGBoost 和 CatBoost）推理的方案。在 16 纳米技术完成的单芯片上，性能相比于最先进的 GPU 具有 119 倍的较低时延和 9740 倍的更高吞吐量，能够极大地加速科学发现。
structured datatabular datamachine learninganalog-digital architecturetree-based models
发现论文，激发创造
  • RACE-IT: 用于内存中 Transformer 加速的可重构模拟 CAM - 交叉栏引擎

    Transformer 模型使用我们提出的 Compute-ACAM 结构以及使用模拟输入和数字输出的能力，通过在模拟域内对 Transformer 模型中的所有操作进行高效执行来提高性能，并大大降低能耗。

    Nov, 2023

  • 记忆即一切：加速大型语言模型推理的计算于内存架构综述

    大型语言模型的推出带来了自然语言处理领域的重大变革，本文调查了与转换器模型有关的各种 CIM 构架以及它们如何解决现代人工智能计算系统面临的挑战。

    Jun, 2024

  • 树状模型在表格数据上为何仍然优于深度学习？

    通过与传统树模型如 XGBoost 和随机森林的对比，研究发现，对于中等大小数据集（约 10K 个样本），树模型仍然是当前在表格数据上的最佳选择；研究还提出了神经网络在表格数据上建模的若干挑战，并为后续研究提供基准测试数据和计算资源。

    Jul, 2022

  • 机器学习训练在实际处理内存系统上的实验评估

    研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

    Jul, 2022

  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

    May, 2022

  • CAMEL: 针对设备上高效学习，协同设计人工智能模型和嵌入式 DRAM

    本研究提出了使用嵌入式动态随机访问存储器 (eDRAM) 作为训练数据的主要存储介质来解决物联网 (IoT) 边缘设备上的深度神经网络训练问题，并设计了一种新颖的可逆 DNN 架构和高效的设备端训练引擎 CAMEL 来实现不需 eDRAM 刷新的数据训练过程， 从而大大减少了 DNN 训练的能耗并在验证精度上实现了类似（甚至更好）的性能。

    May, 2023

  • 表格数据：深度学习不是你所需要的全部

    比较了深度学习模型和 XGBoost 模型在表格数据上的性能和调整，结果表明 XGBoost 模型在所涉及的数据集上表现更好并需要更少的调整。

    Jun, 2021

  • 加速器驱动的数据排列在多核架构上最小化变压器运行时间

    提出了一种新颖的内存数据排列策略，通过硬件加速器的内核大小来有效减小芯片外数据访问，特别对于基于广义矩阵乘法（GEMM）的终端到终端变压器模型推理尤为有益。本研究通过在单核和多核系统中实现和评估提出的加速器驱动的数据排列方法，证明了该方法能够实现高达 2.8 倍的速度提升。

    Dec, 2023

  • AnalogNAS: 一种用于准确推断的神经网络设计框架，基于模拟内存计算

    本文提出了一种名为 AnalogNAS 的自动化 DNN 设计框架，目标是部署在模拟内存计算推理加速器上，通过大量的硬件模拟，展示 AnalogNAS 在各种 TinyML 任务上的性能，以及在 64 核 IMC 芯片上实现的模型较 SOTA 模型具有更高的准确性。

    May, 2023

  • 关系学习中的全面关注提升

    基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。

    Feb, 2024