FAT: 一种用于三元权重神经网络的快速加速器

Jan, 2022

FAT: 一种用于三元权重神经网络的快速加速器

FAT: An In-Memory Accelerator with Fast Addition for Ternary Weight Neural Networks

Shien Zhu, Luan H.K. Duong, Hui Chen, Di Liu, Weichen Liu

TL;DR本文提出了一种新型 IMC 加速器 FAT，其中使用 Sparse Addition Control Unit 来利用 TWNs 的稀疏性，使用快速加法方案来避免传输和存储时间开销，并使用 Combined-Stationary 数据映射来提高内存列中的并行性，模拟结果表明，FAT 相比于现有的 IMC 加速器 ParaPIM 可以实现 2.00X 的加速，1.22X 的功率效率和 1.22X 的面积效率，对于 80％平均稀疏度的网络，FAT 可以实现 10.02X 的加速和 12.19X 的能量效率。

Abstract

convolutional neural networks (CNNs) demonstrate excellent performance in various applications but have high computational complexity. quantization is applied to reduce the latency and storage cost of CNNs. Among

quantization convolutional neural networks in-memory computing binary and ternary weight networks imc acceleration

发现论文，激发创造

FATNN: 快速和准确的三元神经网络

本文提出了一种快速高效的三值神经网络 (FATNN) 框架，通过精心设计实现依存的三值量化算法，针对计算复杂度和性能差异等挑战，大幅度提高了图像分类准确性，并在多个平台上进行了速度评估，成为进一步研究的强大基准。

Aug, 2020

YodaNN: 超低功耗二进制卷积神经网络加速架构

本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

Jun, 2016

深度神经网络加速器中的量化和映射协同探索

卷积神经网络（CNN）的能效和内存占用取决于权重量化策略和映射，通过启用丰富的混合量化方案，我们可以找到更有效利用硬件资源的映射，从而在精度、能耗和内存要求之间取得更好的平衡。通过扩展 Timeloop 工具，提出了一种高效的多目标优化算法，实证了该方法在两种 CNN 和两种加速器上的有效性，并证明了相对于未经精心优化的 CNN 实现，可以实现高达 37% 的能量节省，而无需降低精度。

Apr, 2024

基于二次幂量化的神经网络能效硬件加速

通过使用二次幂量化和基于位移乘累加运算代替传统的乘累加运算，以及基于对数量化的新型剪枝方法，本文在基于 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 的硬件神经网络加速器中实现了 Power-of-Two (PoT) 权重，实现了至少 $1.4x$ 的能效提升。

Sep, 2022

FPGA 上高吞吐量混合精度 CNN 加速器设计

本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

Aug, 2022

深度神经网络的超低精度无乘训练

本文提出了一种自适应分层比例缩放的位编码量化（ALS-POTQ）方法和无乘积 MAC 的方法（MF-MAC），可以消除线性层中所有 FP32 乘法和重量偏差校正和参数化比率裁剪技术来提高稳定性和提高准确性，从而获得比现有方法更高的能源效率和准确性。

Feb, 2023

内存模拟计算架构与张量处理单元的异构集成

提出了一种新颖的异构混合信号混合精度架构，将 IMAC 单元与边缘 TPU 集成以提高移动 CNN 性能，借助 TPUs 卷积层和 IMAC 电路密集层的优势，设计了一种统一的混合精度训练算法，模拟结果表明，TPU-IMAC 构型在各种 CNN 模型中实现了高达 2.59 倍的性能提升和 88％的内存减少，同时保持了可比较的准确性。该架构对于边缘计算和移动设备中的实时处理等需要能源效率和高性能的应用具有潜在的影响。

Apr, 2023

面向仅限 CAM 的 DNN 推理的全栈优化

基于赛道存储器 (RTM) 实现的关联处理器 (APs) 和三值权重神经网络的算法优化结合的新型编译流路，可显著提高 ResNet-18 在 ImageNet 上的能效，同时保持软件准确性。

Jan, 2024

A&B BNN: 仅支持加和位运算的硬件友好型二进制神经网络

二进制神经网络使用 1 位量化的权重和激活来减少模型的存储需求和计算负担。本文提出了 A&B BNN，在传统的 BNN 中直接移除了一部分乘法运算并用相等数量的位运算代替其余部分，引入了掩码层和基于无正则化网络架构的量化 RPReLU 结构。掩码层可以通过数学变换避免相关的乘法运算。量化 RPReLU 结构通过限制其斜率为 2 的整数幂，实现更高效的位运算。实验结果在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上分别达到 92.30%、69.35% 和 66.89%，与最先进方法相当。消融实验验证了量化 RPReLU 结构的有效性，与使用固定斜率 RLeakyReLU 相比，在 ImageNet 上提升了 1.14%。提出的仅添加位操作的 BNN 为硬件友好型网络架构提供了创新的方法。

Mar, 2024

F8Net: 仅限定点 8 位乘法用于网络量化

F8Net 是一种完全由固定点 8 位乘法构成的量化框架，可以降低神经网络量化模型与完全精度模型之间的性能差距，并显著降低内存占用和能源消耗。

Feb, 2022