May, 2016

三值权重网络

PDF
TL;DR本文提出一种具有高效内存和计算的三进制权重网络（TWNs）方法，通过对浮点或双精度精度权重和三进制权重之间的欧几里德距离进行训练，实现了最小化计算开销。TWNs 的表达能力优于二进制精度的相应网络，并且在 MNIST、CIFAR-10 和 ImageNet 数据集上实现了比二进制网络更好的分类性能，同时在 PASCAL VOC 数据集上进行的物体检测任务中，相较于二进制网络，TWNs 的 mAP 表现也有了超过 10％的提升。
发现论文，激发创造
  • 训练三值量化

    本文介绍了一种基于训练的三元量化方法，该方法可帮助在移动设备上部署具有限功率预算的神经网络模型，该方法在降低权重精度的同时保持高准确性，并通过实验表明该模型在 CIFAR-10 和 ImageNet 上的性能优于传统方法。

    Dec, 2016

  • 利用截断高斯近似同时优化三值神经网络的权重和量化器

    本篇研究提出了一种新型的三值神经网络训练方法，使用删节高斯近似法将重量三值化的阈值合并到封闭形式的表示中，同时优化重量和量化器，在 Imagenet 分类任务中实现了与完全精度相比仅有的 3.9/2.52/2.16% 的精度下降。

    Oct, 2018

  • 使用三值化权重优化深度卷积神经网络并获得高准确度

    本研究提出了统计权重缩放和残差扩展的方法，将深度卷积神经网络权重参数压缩到三元值，以大幅减少模型大小和计算成本，并在 CIFAR-10 和 ImageNet 数据集上验证此方法的有效性和优越性。

    Jul, 2018

  • 用于资源高效人工智能应用的三元神经网络

    本文提出了基于三值神经网络和师生模型的新型深度学习方法，并在 FPGA 和 ASIC 硬件上实现；相比现有技术，该方案在提高准确率的前提下，节约了高达 3.1 倍的能源。

    Sep, 2016

  • FATNN: 快速和准确的三元神经网络

    本文提出了一种快速高效的三值神经网络 (FATNN) 框架，通过精心设计实现依存的三值量化算法，针对计算复杂度和性能差异等挑战，大幅度提高了图像分类准确性，并在多个平台上进行了速度评估，成为进一步研究的强大基准。

    Aug, 2020

  • FAT: 一种用于三元权重神经网络的快速加速器

    本文提出了一种新型 IMC 加速器 FAT，其中使用 Sparse Addition Control Unit 来利用 TWNs 的稀疏性，使用快速加法方案来避免传输和存储时间开销，并使用 Combined-Stationary 数据映射来提高内存列中的并行性，模拟结果表明，FAT 相比于现有的 IMC 加速器 ParaPIM 可以实现 2.00X 的加速，1.22X 的功率效率和 1.22X 的面积效率，对于 80％平均稀疏度的网络，FAT 可以实现 10.02X 的加速和 12.19X 的能量效率。

    Jan, 2022

  • 学习循环二 / 三元权重

    该论文提出了一种在训练阶段就能够学习二进制和三进制权重的方法，可以用于硬件实现循环神经网络，以达到减少硅面积和功耗的目的。使用该方法可以在运行时使用二进制 / 三进制权重，从而在 ASIC 平台上实现长短时记忆神经网络比全精度实现要高出 10 倍的推理加速度和 12 倍的内存节省。

    Sep, 2018

  • 二元和三元自然语言生成

    采用一种基于统计的权重量化和弹性激活量化的方法实现了第一批三元和双元变压器模型，其在摘要和机器翻译的下游任务中达到了较高的得分，同时比全精度模型高效 16 倍以上。

    Jun, 2023

  • RTN: 重新参数化三值网络

    该研究探讨了在资源有限设备上部署深度神经网络的量化方法，研究了极低比特网络，提出了解决量化值中的三个问题的新方法，并在 ImageNet 上进行了实验。结果表明，与现有的方法相比，所提出的再参数化三元网络（RTN）具有更好的精度和比特宽度效率，在 FPGA 上的计算模式也具有更高的功率和面积节省。

    Dec, 2019

  • 使用熵约束训练三值神经网络来学习稀疏性和三值性

    提出了一种利用熵约束技术创建稀疏三元神经网络的通用框架，以提高存储和计算效率，同时验证了该框架在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上进行图像分类任务的有效性.

    Apr, 2020