用于人体姿态估计和图像识别的二进制网络的改进训练

Apr, 2019

用于人体姿态估计和图像识别的二进制网络的改进训练

Improved training of binary networks for human pose estimation and image recognition

Adrian Bulat, Georgios Tzimiropoulos, Jean Kossaifi, Maja Pantic

TL;DR本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

Abstract

Big neural networks trained on large datasets have advanced the state-of-the-art for a large variety of challenging problems, improving performance by a large margin. However, under low memory and limited computational power constraints, the accuracy on the same problems drops consider

neural networks binarized neural networks activation functions quantization knowledge distillation

发现论文，激发创造

基于对比学习的网络二值化

本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

Jul, 2022

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

BiHRNet：用于人体姿势估计的二进制高分辨率网络

在本研究中，提出了一种名为 BiHRNet（Binary HRNet）的二值人体姿势估计器，该估计器在适应二值神经网络（BNN）的同时保留了 HRNet 的关键点提取能力，通过提出二值网络训练过程的优化方法以及设计更适合二值化的结构，实现了更少的计算资源开销和精度下降，并在实验中取得了较好的性能。

Nov, 2023

结构化二进制神经网络用于图像识别

通过量化模型，将卷积神经网络结构进行近似重构，创新性地提出群组分解策略（Group-Net），并嵌入上下文信息以进行准确的语义分割，首次将二进制神经网络应用于目标检测，展示了在精度和计算效率方面优于文献中各种量化网络的方法。

Sep, 2019

高容量专家二元网络

本研究针对网络二值化技术领域的准确度损失问题，提出了三种新方法：1）使用专家二值卷积提高模型容量，2）引入宽度扩展机制以提高表示容量，3）提出了一种可行的网络增长机制以获得良好的网络拓扑结构，通过实验在 ImageNet 分类任务上取得了超过以往方法 6% 的精度提升。

Oct, 2020

二元神经网络：综述

本文综述了二值神经网络中直接二值化和优化二值化两种算法，其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题；同时对硬件友好设计和训练技巧等实用方面也进行了讨论，最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论，并展望了未来研究中可能面临的挑战。

Mar, 2020

深度神经网络对权重二值化和其他非线性扭曲具有强鲁棒性

本文研究发现深度神经网络在训练时即使将权重量化并投影为二进制表示也能取得优秀的性能，而在测试阶段，这些网络对于除量化以外的扭曲，包括加性和乘性噪声以及一类非线性投影具有显著的鲁棒性。此外，我们还发现基本水平的鲁棒性可以通过调整或删除一个通用的训练启发式（即在反向传播过程中投影量化权重）来实现，包括使用其他类型的权重投影和简单地剪裁权重。最后，我们提出了一种随机投影规则，实现了无数据增强条件下 CIFAR-10 中 7.64% 的测试错误率的最新记录。

Jun, 2016

回归简单：如何从头训练准确的二值神经网络？

本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

Jun, 2019

面向分布的信息保留的精确二值神经网络

本文介绍了一种名为 DIR-Net 的神经网络二值化方法，通过改进内部传播和引入外部表示来保留神经网络信息；采用信息最大化二值化（IMB）、分布敏感二段估计器（DTE）和表示对齐二值化感知蒸馏（RBD）等三项技术，该方法在 ResNet、VGG、EfficientNet、DARTS 和 MobileNet 等主流紧凑体系结构下实验表现优异，可在实际资源受限设备上实现存储节省和加速优化。

Sep, 2021

二值化深度神经网络在图像分类中的研究

本研究旨在提出一种基于二进制系统的深度神经网络，该网络可以大幅减少计算资源和存储空间的使用，从而可在各种设备上使用，并通过实验验证了该网络的可行性。

Feb, 2016