Sep, 2019

使用训练二值化的准确紧凑卷积神经网络

HTML
PDF
TL;DR本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化CNN在CIFAR-10上的准确度达到92.3％，在ImageNet上，我们的方法用AlexNet获得46.1％的top-1准确度，用Resnet-18获得54.2％的top-1准确度。
发现论文，激发创造
  • 构建有效的低比特宽度卷积神经网络

    本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地减小了深度学习训练的计算量和存储需求。

    Nov, 2017

  • 朝着精准二值卷积神经网络

    本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

    Nov, 2017

  • Bi-Real Net: 将深度网络二值化以实现真实网络性能

    本文研究了一比特卷积神经网络，通过使用Bi-Real net和新颖的训练算法来提高其表现能力和训练困难性，并在ImageNet上获得了56.4％的top-1分类准确性，比现有技术提高了10％以上。

    Nov, 2018

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构BinaryDenseNet，并在ImageNet数据集上获得18.6%和7.6%的精度改进。

    Jun, 2019

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019

  • 使用实数到二进制卷积训练二值神经网络

    本文介绍了如何训练二值网络，并通过优化过程和实值卷积输出来最大限度地提高准确性，这对于图像分类任务非常有用。

    Mar, 2020

  • 二元神经网络：综述

    本文综述了二值神经网络中直接二值化和优化二值化两种算法，其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题；同时对硬件友好设计和训练技巧等实用方面也进行了讨论，最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论，并展望了未来研究中可能面临的挑战。

    Mar, 2020

  • 二值神经网络的综合评述

    本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法/技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了BNN的应用，以及其潜在的发展方向和未来研究机会。

    Oct, 2021

  • 二值视觉Transformer：高效和准确度的探索

    本论文提出了一种名为 BinaryViT 的方法，通过引入梯度正则化方案和激活偏移模块解决了 Vision Transformers 全量二值化所面临的性能降低和信息失真问题，使得其在计算和存储资源受限的设备上也能有更好的运行表现。

    May, 2023

  • BinaryViT：将二值化Transformer推向卷积模型

    本文提出BinaryViT来增强二进制ViT的表现能力，加入了一些CNN结构的操作，包括平均池化层、多个平均池化支路、仿射变换等，实验证明，这使得一个纯二进制ViT模型非常具有竞争力。

    Jun, 2023