结构化二进制神经网络用于精确图像分类和语义分割

Nov, 2018

结构化二进制神经网络用于精确图像分类和语义分割

Structured Binary Neural Networks for Accurate Image Classification and Semantic Segmentation

Bohan Zhuang, Chunhua Shen, Mingkui Tan, Lingqiao Liu, Ian Reid

TL;DR本文提出一种新的 CNNs 量化方法，基于二进制权重和激活值，结合 “结构近似” 的思想使用 “Group-Net” 策略，将网络分组，将同类别的二进制分支聚合为一个完整的分组，同时学习组之间的有效连接，在移动设备上达到了较好的分类与语义分割性能，节约了大量的计算资源。

Abstract

In this paper, we propose to train convolutional neural networks (cnns) with both binarized weights and activations, leading to quantized models specifically} for mobile devices with limited power capacity and co

cnns quantization group-net binary structure mobile devices

发现论文，激发创造

结构化二进制神经网络用于图像识别

通过量化模型，将卷积神经网络结构进行近似重构，创新性地提出群组分解策略（Group-Net），并嵌入上下文信息以进行准确的语义分割，首次将二进制神经网络应用于目标检测，展示了在精度和计算效率方面优于文献中各种量化网络的方法。

Sep, 2019

二值量化层的高效卷积神经网络

本文介绍了一种使用卷积神经网络 (CNN) 的一般语义进行图像分割的新方法，该方法采用二进制编码的 CNN 特征，并作为网络末端的额外层进行嵌入，最终实现实时分割。实验表明，我们的分割算法在大多数非语义分割方法方面都优于现有的最先进技术。

Nov, 2016

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

用于人体姿态估计和图像识别的二进制网络的改进训练

本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

Apr, 2019

移动设备上的量化卷积神经网络

该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

Dec, 2015

朝着精准二值卷积神经网络

本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

Nov, 2017

精度生物医学图像分割的完全卷积网络量化

本文旨在探讨量化技术在深度神经网络（DNN）和全卷积神经网络（FCN）的生物医学图像分割中的应用，而不是仅仅将其用于降低内存和计算复杂度。实验结果表明，在 MICCAI Gland 数据集上，我们的方法不仅优于现有的技术，而且可以使内存使用降低多达 6.4 倍。

Mar, 2018

二元图神经网络

本论文探讨了将二值化技术应用于图神经网络的方法，并成功设计了能够在 Hamming 空间内快速构建动态图的模型，实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。

Dec, 2020

Sub-bit 神经网络：学习压缩和加速二进制神经网络

介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

Oct, 2021

SUBIC: 一种用于图片搜索的有监督结构化二进制编码

本研究提出了一种基于深度卷积神经网络实现的、有监督且压缩的、结构化二进制编码的方法。通过使用块 softmax 非线性和基于批次的熵损失，本方法可以使学习到的编码具有结构性，并在单一和交叉领域分类、实例检索和类别检索等任务中，表现出比基于深度哈希或结构化量化的现有压缩表示更好的性能。

Aug, 2017