本文介绍了一种名为 NGEMM 的基于编译器的 GEMM 实现方法，用于加速低精度 DNN 的训练和推理。与 MKL 等库相比，NGEMM 的性能表现更优，平均速度提升了 1.86 倍。

Oct, 2019

该论文提出了一种高吞吐量、可扩展和节能的非逐元素矩阵乘法单元，作为神经网络的基本组件。通过优化近似矩阵乘法算法以及专用的存储和访问设计，该单元在 FPGA 上实现了高效的矩阵乘法，大大提高了 FPGA 上基于量化神经网络的加速器的吞吐量和能效。

Jul, 2024

本论文提出了一种针对量化 DNN（deep neural networks）的新型矩阵乘法方法，称为 BiQGEMM。通过一次指令同时访问多个量化权重， BiQGEMM 可以提高计算性能，并通过预计算中间结果来降低计算总量。在大量实验中，BiQGEMM 在 DNN 量化场景下表现出更高的性能。

May, 2020

本文提出两种新型基于 GEMM 的算法，分别只需要额外的 O (MHW) 和 O (KW) 的空间，显著降低了 DNN 卷积的空间开销，适用于内存受限的嵌入式系统，并且实验表明我们的低内存算法和最好的图案构建方法一样快，尽管需要的额外内存只相当于后者的一小部分。

Sep, 2017

本文介绍了一种 FPGA 加速神经网络评估的异构计算系统，通过利用 DSP 和 LUT 的不同资源优势进行计算。作者运用强化学习算法对系统进行优化，使得该系统在减少延迟的同时提高了精度表现。

Dec, 2021

机器学习 (ML) 运算符是设计具有不同目标应用的 ML 模型的基本构建模块。GEneral Matrix Multiplication (GEMM) 运算符是 ML 模型的基础，但在计算上非常昂贵，因此需要对其进行研究和优化以加快 ML 模型的执行速度。然而，非 GEMM 运算符的性能尚未像 GEMMs 那样进行深入研究，因此本文介绍了一种用于研究非 GEMM 运算符的基准测试，通过使用来自不同领域的流行 ML 工作负载构建 ench，然后在各个等级的 GPU 平台上进行案例研究，以分析 GPU 加速系统中非 GEMM 运算符的行为，并提供一些关键性的发现，以弥合 GEMM 和非 GEMM 运算符之间的差距，并为社区提供潜在的新的优化方向。

Apr, 2024

本研究介绍了一种使用二层求和乘积网络（SPN）的方法，通过学习从数据中的边缘权重（三元）来获得深度神经网络（DNN）层中矩阵乘法的低成本近似，同时应用知识蒸馏，实现对 DNN 中乘法操作数量的预算，从而在保持预测性能的同时，实现乘法操作数量的大幅度减少。

Dec, 2017

该论文提出了一个有效的推理框架用于大规模生成式语言模型，采用自我监督学习和 Transformer 架构的最新进展实现了低困惑度，通过非均匀量化和 nuQmm 的加速矩阵乘法，实现了模型大小的减小，并减少了大型 LM 的推理延迟

Jun, 2022

本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

Aug, 2021

本文提出了一种新的 MCMK 卷积方法，能够在不使用 im2col 的情况下将卷积核应用于输入图像，相比 im2col 方法，该方法在 CPU 上的速度更快。

Apr, 2017