- CVPRS2-BNN: 通过引导分布校准 架起无监督真实数据与 1 比特神经网络之间的桥梁
本文提出了一种从实值网络指导学习二值神经网络的方法,通过最小化损失和提高准确性,可以在没有标签的情况下,将简单的对比学习基线提高 5.5~15%,并且在大规模图像分类基准测试 ImageNet 和下游数据集上取得了显著的改进。
- MMFracBNN:具有分数激活的准确和 FPGA 高效二值神经网络
研究提出了一个名为 FracBNN 的新型二进制神经网络模型,利用分数激活方法,通过双精度激活方案和新型冷却器编码等技术解决旧模型在现实数据集(如 ImageNet)表现不佳的问题。FracBNN 可以实现同等规模的 MobileNetV2 - CVPR利用不平衡激活分布提高二值神经网络的准确性
本文提出二值化神经网络模型的精度问题,并指出通过不平衡激活分布以及调整二值激活函数的阈值,可以在不改变其他结构的情况下提高二值神经网络模型的精度。
- ECCVQuantNet:在全可微框架内学习量化
本文介绍了一种元学习量化模型 QuantNet,能够直接将全精度权重二进制化,解决了由于 STE 引起的梯度差异问题,减缓了二进制化操作对性能的离散化误差的影响,并在 CIFAR-100 和 ImageNet 数据集上取得了显著的改进。
- 通过信息瓶颈理解二元神经网络的学习动态
本文从信息瓶颈原理的角度分析了二值神经网络的训练动态,发现其不同于深度神经网络,同时发现二值神经网络会在表示压缩和损失拟合之间同时进行,从而发现其训练动态与激活函数无关
- CVPR基于进化搜索的二值化 MobileNet
本研究提出了使用进化搜索来促进 MobileNet 的二值化设计和训练方案,通过操作组卷积的想法来设计高效的 1 位卷积神经网络,从而探索最佳的候选组卷积,以优化模型性能,并在 ImageNet 上进行了各种实验,展示了我们的构建指南,最终 - ECCVBATS:二进制架构搜索
本文提出了 Binary ArchitecTure Search (BATS) 框架,并提出了三种成功应用 NAS 到二进制领域的关键要素,包括引入二进制导向搜索空间,提出控制和稳定搜索拓扑的新机制,以及提出验证了的能导致更快收敛和较低搜索 - 探索二进制和脉冲神经网络之间的联系
通过训练极度量化的脉冲神经网络,在不受到精度降低的情况下,可以实现像 CIFAR-$100$ 和 ImageNet 这样的大规模数据集的近乎完全精确度。此外,通过 “内存” 硬件加速器,也可以启用二元脉冲神经网络。
- BinaryDuo: 通过耦合二进制激活减少二进制激活网络中的梯度失配
本研究探讨了二值神经网络(BNNs)性能下降的主要原因 -- 梯度不匹配问题,提出了基于平滑损失函数梯度的方法来更好地估计量化神经网络中梯度不匹配问题。通过实验发现,我们提出的 BinaryDuo 方法在参数量和计算成本相同的情况下,在各种 - MeliusNet: 二进制神经网络能达到 MobileNet 的准确性吗?
本文提出了一种新的二进制神经网络构架 MeliusNet,采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量,通过在 ImageNet 数据集上的实验,证明了该构架可以在操作数、精度以及计算效率上大幅提高,代码已公开发布。
- PhoneBit: 移动手机高效 GPU 加速二值神经网络推断引擎
本文提出了 PhoneBit,一种针对基于 Android 的移动设备的 GPU 加速二值神经网络推断引擎,旨在通过运用区别于桌面平台的架构,提出操作级优化方案,以挖掘移动 GPU 的计算能力,实现二值卷积的高效率,从而取得了相比移动设备上 - XNOR-Net++: 二值神经网络的改进
本文提出了一种改进的训练算法,用于针对二元神经网络的权重和激活二进制数的训练,提出了一种新的比 XNOR-Net 更优的方法,通过反向传播学习判别式融合激活和权重缩放因子。实验表明,与分析计算的结果相比,我们的方法更加准确,且在相同的计算预 - 带门控残差的平衡二值神经网络
本文介绍了一种基于平衡二元神经网络和门控残差的二元神经网络方法 (BBG),针对其信息丢失问题,提出使用权重平衡二值化和门控残差结构来提高作用量的信息熵和防止信息丢失。经实验证明,BBG 方法在各种网络架构中表现出优异的性能,包括在分类和检 - ICCV寻找准确的二值神经网络结构
本论文介绍了一种基于遗传算法自动搜索紧凑但准确的二进制神经网络的新框架。 实验结果表明,我们搜索到的二进制网络可以在模型大小和计算方面达到全精度模型相当的性能。
- MMdaBNN: 基于 ARM 设备的二值神经网络超快推断框架
本文提出了 daBNN 这一快速推理框架,基于二进制神经网络,通过特定的速度优化和内存优化策略,可以有效地在 ARM 设备上运行,并在单个二值卷积上比最近的 BMXNet 布尔神经网络推理框架快 7 倍到 23 倍,并在 Bi-Real N - MoBiNet:用于图像分类的移动二进制网络
本文介绍了一种利用 MobileNet 二值化来进行激活函数和模型权重处理的简单而高效的方案,同时提出了一个新的神经网络结构 MoBiNet,通过跳连接来防止信息丢失和梯度消失,以便更好地进行训练,并在 ImageNet 数据集上进行了实验 - 回归简单:如何从头训练准确的二值神经网络?
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
- 离散化解决方案:安全机器学习抵御对抗攻击
通过在深度神经网络中限制输入维数或参数维度,采用离散化方法可以显著提高不同数据集上的对抗攻击鲁棒性,2bit 离散化可在最大程度上提高对抗攻击抵抗力而只损失 1-2% 的精度。
- 正则化二进制网络训练
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法,通过改进梯度下降算法中的反向传播计算,在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。
- 从头开始训练竞争二进制神经网络
研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能,通过采用一种更简单的训练策略,成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果,还成功将具有密集连接的网络架构引入二进制网络领域。