Nov, 2022

使用二进制神经网络门票在 ImageNet 上加入高精度俱乐部

PDF
TL;DR通过三个互补的角度：创新设计一个基于全方位研究后的二进制结构 BNext、提出一种新的知识蒸馏技术以缓解训练极精确二进制模型时出现的过拟合问题、并使用来自全精度模型的最新技术现代化二进制网络的数据增强管线，我们让二进制神经网络在 ILSVRC-2012 ImageNet 上达到了至关重要的准确度水平 (例如 80.57%)，并且明显优于所有现有的二进制网络。
binary neural networksoptimization processknowledge-distillation techniquedata augmentation pipelineilsvrc-2012 imagenet
发现论文，激发创造
  • MeliusNet: 二进制神经网络能达到 MobileNet 的准确性吗？

    本文提出了一种新的二进制神经网络构架 MeliusNet，采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量，通过在 ImageNet 数据集上的实验，证明了该构架可以在操作数、精度以及计算效率上大幅提高，代码已公开发布。

    Jan, 2020

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 使用训练二值化的准确紧凑卷积神经网络

    本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

    Sep, 2019

  • 用于人体姿态估计和图像识别的二进制网络的改进训练

    本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

    Apr, 2019

  • 高容量专家二元网络

    本研究针对网络二值化技术领域的准确度损失问题，提出了三种新方法：1）使用专家二值卷积提高模型容量，2）引入宽度扩展机制以提高表示容量，3）提出了一种可行的网络增长机制以获得良好的网络拓扑结构，通过实验在 ImageNet 分类任务上取得了超过以往方法 6% 的精度提升。

    Oct, 2020

  • 二元神经网络：综述

    本文综述了二值神经网络中直接二值化和优化二值化两种算法，其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题；同时对硬件友好设计和训练技巧等实用方面也进行了讨论，最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论，并展望了未来研究中可能面临的挑战。

    Mar, 2020

  • 带二值神经网络的迁移学习

    本文提出了一种基于转移学习的架构，首先在 Imagenet 上训练二元网络，然后重新训练网络的部分部分用于不同的任务，同时保持网络的大部分部分固定。

    Nov, 2017

  • 从头开始训练竞争二进制神经网络

    研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能，通过采用一种更简单的训练策略，成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果，还成功将具有密集连接的网络架构引入二进制网络领域。

    Dec, 2018

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • 学习训练二元神经网络

    研究二进制神经网络在移动设备等低计算能力设备上的训练过程，并探索网络结构、超参数等因素对于准确性的影响，提高了二进制神经网络的训练精度。

    Sep, 2018