弹性二进制神经网络
为了优化二值神经网络的学习过程,提出了一种从双线性的角度来优化二值神经网络的学习过程(Recorrent Bilinear Optimization),通过回溯稀疏的真实值权重过滤器,RBONNs 在各个模型和数据集上表现出了令人印象深刻的性能,尤其是在目标检测任务方面,表现出了更好的泛化性能。
Sep, 2022
本文介绍一种名称为 RepConv 的可替换并易于使用的卷积模块,通过在通道维度上复制输入或输出以增强特征图,以提高二进制神经网络(BNN)的性能和准确性,并使用 RepTran 规则在整个 BNN 模块中应用 RepConv 使得 BNN 在 CIFAR-10 和 ImageNet 数据集上均有显著的性能提升
Jul, 2022
本文提出了旋转二进制神经网络 (RBNN) 框架,通过调整全精度权重向量和其二进制版本之间的角度对齐,优化量化误差。利用可调节的旋转权重向量来实现二值化过程的合理转化,最终在 CIFAR-10 和 ImageNet 数据集上取得了比多个现有模型更好的结果。
Sep, 2020
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法,通过改进梯度下降算法中的反向传播计算,在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。
Dec, 2018
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
Jun, 2019
本文介绍了一种基于平衡二元神经网络和门控残差的二元神经网络方法 (BBG),针对其信息丢失问题,提出使用权重平衡二值化和门控残差结构来提高作用量的信息熵和防止信息丢失。经实验证明,BBG 方法在各种网络架构中表现出优异的性能,包括在分类和检测等任务上的表现,在记忆消耗、推断速度和准确性方面优于现有技术。
Sep, 2019
该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时,仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性,并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。
Jan, 2017
本文探讨了二值神经网络(BNNs)优化的问题,提出了将潜在权值解释为惯性,并引入了 BNNs 的第一个优化器 ——Binary Optimizer(Bop),以提高训练方法学的效率。该优化器在 CIFAR-10 和 ImageNet 上表现良好。
Jun, 2019
对二元神经网络进行了广泛的实验以了解其表示能力、速度及偏差 / 方差。提出了一种二元集成神经网络,通过集成方法来提高二元神经网络的性能,从而更快、更鲁棒,甚至能够超越具有相同结构的完全精确的浮点数网络的准确性。
Jun, 2018