Dec, 2019

AdderNet：深度学习中真的需要乘法吗？

PDF
TL;DR该论文通过使用 AdderNets，将深度神经网络中的大量乘法转化为更便宜的加法来降低计算成本。通过特殊的反向传播方法和自适应学习率策略，在卷积层中消除任何乘法，以实现更好的性能优化。使用 ResNet-50 在 ImageNet 数据集上，无需进行任何乘法运算就能达到 74.9％的 Top-1 精度和 91.7％的 Top-5 精度。
addernetsconvolutional neural networkscomputation costsgradientoptimization
发现论文，激发创造
  • StrassenNets：带有乘法预算的深度学习

    本研究介绍了一种使用二层求和乘积网络（SPN）的方法，通过学习从数据中的边缘权重（三元）来获得深度神经网络（DNN）层中矩阵乘法的低成本近似，同时应用知识蒸馏，实现对 DNN 中乘法操作数量的预算，从而在保持预测性能的同时，实现乘法操作数量的大幅度减少。

    Dec, 2017

  • ShiftAddNet: 一种受硬件启发的深度网络

    ShiftAddNet 是一种硬件启发式的深度神经网络，通过只使用位移和加权层替代传统的乘法运算来实现深度网络的显式参数化，从而获得与标准深度神经网络相当的表达能力和更加灵活的精度和效率之间的权衡，并且可以与量化和修剪等技术结合，实现在训练和推理中更加节能高效的性能。

    Oct, 2020

  • 使用低精度乘法训练深度神经网络

    通过在三个基准数据集上使用三种不同的格式（浮点数、固定点和动态固定点）进行训练，评估乘法精度的影响，研究发现，即使在训练神经网络时使用 10 位乘法，非常低的精度也足够运行和训练最新的神经网络。

    Dec, 2014

  • DietCNN: 量化卷积神经网络的无乘法推理

    本文提出了一种基于表查找的 CNN 乘法运算替换方法，可以显著减少在嵌入式设备上进行推理时的能耗，并且适用于现有 CNN 操作机制，能够显著提高嵌入式系统中小型模型的资源利用和深度推理的延迟。

    May, 2023

  • 使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

    使用 “重叠相加” 技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

    Jan, 2016

  • 基于减法器的 CNN 推断加速器

    该研究提出了一种利用减法器提高 CNN 推理加速器性能的新方法，通过排序、分组和舍入权重来创建组合，从而可以在推理期间将一个乘法和加法运算替换为一个减法运算，从而降低功耗和面积，并通过增加或减少减法器的使用来控制性能增益和准确性损失的权衡。利用 MNIST 数据集和 LeNet-5，采用舍入大小为 0.05 的设计可以实现 32.03％的功耗节省和 24.59％的面积减少，仅以 0.1％的准确性损失为代价。

    Oct, 2023

  • 少乘法的神经网络

    研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

    Oct, 2015

  • AdderNet 及其极简硬件设计用于能效人工智能

    使用加法核、低比特量化算法以及特定和通用硬件加速器设计一种高效的、性能更好的卷积神经网络（AdderNet），可以消耗更少的资源，并且比传统的卷积神经网络、基于忆阻器网络、XNOR-Net 和基于移位核的网络有更高的性能和能效，可以用于未来的高性能和能效的人工智能应用中。

    Jan, 2021

  • AdderSR：面向能量高效的图像超分辨率

    本文提出了针对单张图像超分辨率问题的 AdderNet 神经网络，通过插入 shortcut 进行 identity mapping 增强和引入可学习能力的 power activation 进行细节调整，具有可比较的性能和可视化效果，同时能够使能耗减少约 2 倍。

    Sep, 2020

  • 卷积神经网络中卷积算子的泛化

    本文提出两类代理函数，用于卷积算子内积运算的通用化，第一种是正定核函数，第二种是基于距离函数定义的相似性测量。通过在 MNIST 数据集上的实验表明，基于加权 L1/L2 距离的广义 CNN 可以实现普通 CNN 的性能，证明了卷积神经网络通用化的可行性。

    Jul, 2017