Sep, 2021

面向分布的信息保留的精确二值神经网络

PDF
TL;DR本文介绍了一种名为 DIR-Net 的神经网络二值化方法，通过改进内部传播和引入外部表示来保留神经网络信息；采用信息最大化二值化（IMB）、分布敏感二段估计器（DTE）和表示对齐二值化感知蒸馏（RBD）等三项技术，该方法在 ResNet、VGG、EfficientNet、DARTS 和 MobileNet 等主流紧凑体系结构下实验表现优异，可在实际资源受限设备上实现存储节省和加速优化。
binarizationneural networksinformation retentiondistribution-sensitivecompress
发现论文，激发创造
  • 准确的二进制神经网络的前向和后向信息保留

    本研究提出了一种信息保留网络（IR-Net）以解决二元神经网络在正向和反向传播中的信息丢失问题，并通过权衡和标准化权重以同时减少量化误差和信息损失来最小化参数的量化误差。在 CIFAR-10 和 ImageNet 数据集上的综合实验表明，所提出的 IR-Net 可以始终优于最先进的量化方法。

    Sep, 2019

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • 用于人体姿态估计和图像识别的二进制网络的改进训练

    本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

    Apr, 2019

  • 高效多任务密集预测器通过二值化

    利用网络二值化和知识蒸馏机制加快多任务密集预测模型的速度，同时保持甚至提高模型性能。

    May, 2024

  • BiBERT：准确的全二值化 BERT

    本文提出了一种全二值化 BERT（BiBERT）模型，通过有效的双向 attention 结构来最大化表示信息的统计信息，并引入方向匹配蒸馏方案在 BERT 全二值化后准确优化，证明了比现有量化 BERT 性能更好，在计算资源有限的情况下可以显着节省 FLOPs（56.3 倍）和模型大小（31.2 倍）。

    Mar, 2022

  • 可调节有界整流器：迈向深度二进制表示

    通过调整有界整流函数，提出了一种可学习深度神经网络二进制表示的方法，对 MNIST、CIFAR10 和 ILSVRC2012 数据集进行了测试，并系统地研究了二进制过程的训练动态，最终表示是完全二进制的，可以通过一种引导式的二进制过程来展现神经网络的语义结构。

    Nov, 2015

  • BiDet：一种高效的二值化物体检测器

    本研究提出了一种名为 BiDet 的二值化神经网络学习方法，通过信息瓶颈原理的泛化，学习稀疏的物体先验，以消除信息冗余并改善误检测，从而实现高精度的物体检测。

    Mar, 2020

  • 带门控残差的平衡二值神经网络

    本文介绍了一种基于平衡二元神经网络和门控残差的二元神经网络方法 (BBG)，针对其信息丢失问题，提出使用权重平衡二值化和门控残差结构来提高作用量的信息熵和防止信息丢失。经实验证明，BBG 方法在各种网络架构中表现出优异的性能，包括在分类和检测等任务上的表现，在记忆消耗、推断速度和准确性方面优于现有技术。

    Sep, 2019

  • BiViT: 二值化视觉转换器的极度压缩

    本研究提出了针对视觉 Transformers 的二值化方法，其中包括了对 softmax attention 的优化，采用 Cross-layer Binarization 和引入可学习的通道缩放因子等技巧，最终实现了在 TinyImageNet 和 ImageNet 中超越现有技术并取得最佳效果。

    Nov, 2022

  • 二值化深度神经网络在图像分类中的研究

    本研究旨在提出一种基于二进制系统的深度神经网络，该网络可以大幅减少计算资源和存储空间的使用，从而可在各种设备上使用，并通过实验验证了该网络的可行性。

    Feb, 2016