ICLROct, 2017

使用本地重新参数化技巧学习离散权重

PDF
TL;DR本研究使用 LR-nets（局部重参数网络）的方法，通过对神经网络加入离散权重的简单修改，对于 MNIST、CIFAR-10 和 ImageNet 数据集进行测试，表明用离散权重的二进制和三进制模型在大部分实验中能够取得最先进的结果。
computer visiondeep neural networksbinary weightsternary weightslr-nets
发现论文，激发创造
  • 使用本地重参数技巧学习离散权重和激活函数

    研究二值化神经网络的运算和内存需求，提出通过训练网络的离散权重和激活，结合概率建模，实现更高效的离散激活网络推断，以降低运行时间和内存占用。

    Jul, 2023

  • 基于熵罚项重新参数化的可扩展模型压缩

    本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。

    Jun, 2019

  • 学习循环二 / 三元权重

    该论文提出了一种在训练阶段就能够学习二进制和三进制权重的方法，可以用于硬件实现循环神经网络，以达到减少硅面积和功耗的目的。使用该方法可以在运行时使用二进制 / 三进制权重，从而在 ASIC 平台上实现长短时记忆神经网络比全精度实现要高出 10 倍的推理加速度和 12 倍的内存节省。

    Sep, 2018

  • 利用截断高斯近似同时优化三值神经网络的权重和量化器

    本篇研究提出了一种新型的三值神经网络训练方法，使用删节高斯近似法将重量三值化的阈值合并到封闭形式的表示中，同时优化重量和量化器，在 Imagenet 分类任务中实现了与完全精度相比仅有的 3.9/2.52/2.16% 的精度下降。

    Oct, 2018

  • 概率二元神经网络

    本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。

    Sep, 2018

  • 利用贝叶斯学习规则训练二值神经网络

    本文提出了一种基于贝叶斯学习规则的方法来解决训练二进制神经网络的有限制的问题。该算法不仅能够获得最先进的性能，而且还能够估计不确定性以避免灾难性遗忘。

    Feb, 2020

  • 训练三值量化

    本文介绍了一种基于训练的三元量化方法，该方法可帮助在移动设备上部署具有限功率预算的神经网络模型，该方法在降低权重精度的同时保持高准确性，并通过实验表明该模型在 CIFAR-10 和 ImageNet 上的性能优于传统方法。

    Dec, 2016

  • 少乘法的神经网络

    研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

    Oct, 2015

  • RTN: 重新参数化三值网络

    该研究探讨了在资源有限设备上部署深度神经网络的量化方法，研究了极低比特网络，提出了解决量化值中的三个问题的新方法，并在 ImageNet 上进行了实验。结果表明，与现有的方法相比，所提出的再参数化三元网络（RTN）具有更好的精度和比特宽度效率，在 FPGA 上的计算模式也具有更高的功率和面积节省。

    Dec, 2019

  • 深度网络的损失感知权重量化

    本文考虑使用权重量化压缩深度网络，将最近提出的有损权重二值化方案推广到三值化，并在前馈和循环神经网络上进行实验，发现该方案优于现有的权重量化算法，精度与全精度网络相当或更高。

    Feb, 2018