研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能,通过采用一种更简单的训练策略,成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果,还成功将具有密集连接的网络架构引入二进制网络领域。
Dec, 2018
本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN,其中可训练的权重和激活的比例因子被引入以增加值范围,并通过反向传播与其他参数一起进行训练。通过这些改进,与前人工作相比,本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3%,在 ImageNet 上,我们的方法用 AlexNet 获得 46.1%的 top-1 准确度,用 Resnet-18 获得 54.2%的 top-1 准确度。
Sep, 2019
本文综述了二值神经网络中直接二值化和优化二值化两种算法,其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题;同时对硬件友好设计和训练技巧等实用方面也进行了讨论,最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论,并展望了未来研究中可能面临的挑战。
Mar, 2020
本文介绍了一种利用 MobileNet 二值化来进行激活函数和模型权重处理的简单而高效的方案,同时提出了一个新的神经网络结构 MoBiNet,通过跳连接来防止信息丢失和梯度消失,以便更好地进行训练,并在 ImageNet 数据集上进行了实验。结果表明,MoBiNet 在大大减少计算成本的情况下,实现了 54.40%的 top-1 准确率和可比较的准确性。
Jul, 2019
本文提出了一种新的二进制神经网络构架 MeliusNet,采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量,通过在 ImageNet 数据集上的实验,证明了该构架可以在操作数、精度以及计算效率上大幅提高,代码已公开发布。
Jan, 2020
本研究旨在提出一种基于二进制系统的深度神经网络,该网络可以大幅减少计算资源和存储空间的使用,从而可在各种设备上使用,并通过实验验证了该网络的可行性。
Feb, 2016
本文介绍了如何训练二值网络,并通过优化过程和实值卷积输出来最大限度地提高准确性,这对于图像分类任务非常有用。
本研究提出了使用进化搜索来促进 MobileNet 的二值化设计和训练方案,通过操作组卷积的想法来设计高效的 1 位卷积神经网络,从而探索最佳的候选组卷积,以优化模型性能,并在 ImageNet 上进行了各种实验,展示了我们的构建指南,最终模型在相同计算成本下超越了现有技术。
May, 2020
本文提出了一种基于转移学习的架构,首先在 Imagenet 上训练二元网络,然后重新训练网络的部分部分用于不同的任务,同时保持网络的大部分部分固定。
Nov, 2017
本文全面评述了二值神经网络(BNN)的发展历程,从祖先算法到最新算法 / 技术,提出了一种广泛的设计流程,并讨论了每个模块的变体。此外,还介绍了 BNN 的应用,以及其潜在的发展方向和未来研究机会。
Oct, 2021