Apr, 2023

TransPimLib：一种用于处理内存系统上高效处理超越函数的库

HTML
PDF
TL;DR本研究介绍了TransPimLib库，该库提供基于CORDIC和LUT的方法，用于三角函数、双曲函数、指数、对数、平方根等计算，并在使用微基准和三个工作负载（Blackscholes、Sigmoid、Softmax）进行了性能和精度的全面评估，支持PIM系统中的复杂运算，适用于机器学习等现代工作负载。
发现论文，激发创造
  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用PIM范式进行机器学习和混合事务/分析处理的数据中心架构。

    May, 2022

  • 机器学习训练在实际处理内存系统上的实验评估

    研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

    Jul, 2022

  • PIM-QAT：面向处理内存系统（PIM）的神经网络量化

    本研究提出了一种针对处理内存(PIM)量化的方法 (PIM-QAT)，通过分析训练动态，引入反向传播和前向传播重缩放技术，提出批归一化(BN)校准和调整精度训练等技术，有效地解决了硬件约束引起的非理想因素，实现了PIM系统中具有可比性的推理精度。

    Sep, 2022

  • MEMA Runtime Framework: 针对微控制器上的TinyML最小化外部存储器访问

    提出了基于MEMA框架的快速、高效地推导在TinyML系统上矩阵乘法外部存储访问最小的推理运行时的方法，该框架考虑了硬件资源限制和问题规模在分析中确定优化的调度和内核，该框架提供了一种解决当前实践中已知问题的方法，并将推导自MEMA的运行时与ARM Cortex-M4上现有最先进的库进行了性能比较，在神经网络基准测试上，相对于CMSIS-NN，我们实现了高达1.8倍的加速和44%的能耗降低。

    Apr, 2023

  • 计算-内存：什么、何时、何处

    本文研究了在机器学习推断中将计算内存 (Compute-in-memory, CiM) 技术集成的问题，并通过实验证明了使用CiM架构可以提高能源效率，达到低至以INT-8精度0.12倍能源消耗和重复权重交错技术下最高4倍的性能增益，同时提供了关于何种类型CiM适合使用以及何时何地最佳集成于缓存层级进行GEMM加速的见解。

    Dec, 2023

  • 多任务物理信息机器学习(PIML)方法的科尔莫哥洛夫n-宽度：走向稳健度量

    将物理学定律纳入机器学习模型的训练过程中，用于解决偏微分方程问题的基于物理学的机器学习(PIML)在计算科学与工程中引起了广泛关注。通过应用Kolmogorov n-宽度这种度量方法，我们比较了各种多任务PIML架构，为其提供第一种客观指标，帮助消除模型验证中的不确定性，并发现了模型架构的改进途径，如激活函数的选择，可显著影响模型对最坏情况的泛化性能。

    Feb, 2024

  • 分析基于真实处理内存系统的分布式优化算法

    大规模数据集上的机器学习（ML）训练是一项非常昂贵和耗时的工作负载，处理器中心化体系结构（例如，CPU，GPU）常用于现代ML训练工作负载，但受制于数据移动瓶颈，即不断访问训练数据集。因此，处理器中心化系统面临着性能下降和高能耗的问题。内存中处理（PIM）是缓解数据移动瓶颈的有希望的解决方案，将计算机制放置在或靠近内存中。我们的目标是了解流行的分布式优化算法在现实世界的PIM架构上加速数据密集型ML训练工作负载的能力和特性。结果表明，现代通用PIM体系结构可以成为许多内存受限的ML训练工作负载与最先进的CPU和GPU的可行替代方案，当PIM硬件本地支持操作和数据类型时。此外，仔细选择最适合PIM的优化算法以及对于许多数据密集型ML训练工作负荷而言，当节点数增加时，与常见观点相反，现代PIM架构不能实现线性扩展。为了促进未来的研究，我们打算开源我们的完整代码库。

    Apr, 2024

  • ShiftAddLLM：通过后期训练的无乘法重参数化加速预先训练的LLMs

    本研究提出了一种通过后期训练的ShiftAndAddLLM来加速预训练的大型语言模型，通过将每个权重矩阵量化为与分组缩放因子配对的二进制矩阵，并将与二进制矩阵相关的乘法重新参数化为在激活和缩放因子之间进行的移位和加法操作，以减少内存使用和延迟，并且通过多目标优化方法来最小化权重和输出激活重新参数化误差，进一步降低了精度损失。

    Jun, 2024

  • T-MAC: 通过表查找实现的低位LLM在边缘部署上的CPU复兴

    T-MAC是一种基于查找表（LUT）的创新方法，用于在CPU上进行高效的低位LLM（即量化权重LLM）推断，并且在同时消除乘法和减少加法的要求方面支持mpGEMM。

    Jun, 2024

  • LUT张量核心：查找表实现高效低比特大语言模型推理加速

    本研究解决了低比特大语言模型推理中混合精度矩阵乘法（mpGEMM）需求的问题，提出了一种基于查找表（LUT）的方法。通过优化的软件硬件协同设计—LUT张量核心，不仅改进了表的预计算和存储效率，还显著提升了计算密度和能效，为低比特LMM的执行提供了强有力的支持。

    Aug, 2024