ICLROct, 2020

用二元神经网络降低深度生成模型的计算成本

PDF
TL;DR本文研究二值神经网络在生成模型中的应用，通过开发一类新的二值权重规范化方法和提供针对这些二值化生成模型的架构设计，成功地训练出使用二值神经网络的生成模型，使得模型的计算成本大幅降低，但损失函数的值接近于原模型，模型体积更小且速度更快。
deep generative modelsbinary weightsbinarized generative modelscomputational costarchitecture designs
发现论文，激发创造
  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • 二元图神经网络

    本论文探讨了将二值化技术应用于图神经网络的方法，并成功设计了能够在 Hamming 空间内快速构建动态图的模型，实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。

    Dec, 2020

  • BinaryConnect：二进制权重下的深度神经网络训练

    该研究介绍了一种名为 BinaryConnect 的方法，该方法通过对神经网络进行二进制权重的训练和保留梯度累积精度的方式，取代传统神经网络中高昂代价的乘法运算，提高特定硬件上的深度学习性能，并取得了接近最优的结果。

    Nov, 2015

  • 带二值神经网络的迁移学习

    本文提出了一种基于转移学习的架构，首先在 Imagenet 上训练二元网络，然后重新训练网络的部分部分用于不同的任务，同时保持网络的大部分部分固定。

    Nov, 2017

  • 二元神经网络：综述

    本文综述了二值神经网络中直接二值化和优化二值化两种算法，其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题；同时对硬件友好设计和训练技巧等实用方面也进行了讨论，最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论，并展望了未来研究中可能面临的挑战。

    Mar, 2020

  • 从头开始训练竞争二进制神经网络

    研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能，通过采用一种更简单的训练策略，成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果，还成功将具有密集连接的网络架构引入二进制网络领域。

    Dec, 2018

  • 精确二值形态神经网络的基础

    通过数学形态学（MM）实现全结合卷积神经网络（ConvNets）的二值化，并提出两种新的近似方法以及鲁棒的理论框架来改进其优化。同时，引入正则化损失以提高网络的性能。

    Jan, 2024

  • 从哈希到 CNNs：通过哈希训练二值权重网络

    本文提出了一种名为 BWNH 的新方法，旨在通过哈希训练二进制权重网络，以实现高效的网络推理。实验证明，该方法在 CIFAR10、CIFAR100 和 ImageNet 数据集上的性能均优于当前状态 - of-the-art 方法。

    Feb, 2018

  • 稀疏化二进制神经网络的二进制域泛化

    该论文提出了一种新的更一般的二进制域，扩展了标准二进制域，并且更适合剪枝技术，在保证性能的同时提高了压缩率，这种方法与其他修剪策略相结合可以生成高效稀疏网络，并减少内存使用和运行时间延迟。

    Jun, 2023