基于进化搜索的二值化 MobileNet
本论文介绍了一种基于遗传算法自动搜索紧凑但准确的二进制神经网络的新框架。 实验结果表明,我们搜索到的二进制网络可以在模型大小和计算方面达到全精度模型相当的性能。
Sep, 2019
本文介绍了一种利用 MobileNet 二值化来进行激活函数和模型权重处理的简单而高效的方案,同时提出了一个新的神经网络结构 MoBiNet,通过跳连接来防止信息丢失和梯度消失,以便更好地进行训练,并在 ImageNet 数据集上进行了实验。结果表明,MoBiNet 在大大减少计算成本的情况下,实现了 54.40%的 top-1 准确率和可比较的准确性。
Jul, 2019
本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN,其中可训练的权重和激活的比例因子被引入以增加值范围,并通过反向传播与其他参数一起进行训练。通过这些改进,与前人工作相比,本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3%,在 ImageNet 上,我们的方法用 AlexNet 获得 46.1%的 top-1 准确度,用 Resnet-18 获得 54.2%的 top-1 准确度。
Sep, 2019
通过量化模型,将卷积神经网络结构进行近似重构,创新性地提出群组分解策略(Group-Net),并嵌入上下文信息以进行准确的语义分割,首次将二进制神经网络应用于目标检测,展示了在精度和计算效率方面优于文献中各种量化网络的方法。
Sep, 2019
本文提出了一种新的二进制神经网络构架 MeliusNet,采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量,通过在 ImageNet 数据集上的实验,证明了该构架可以在操作数、精度以及计算效率上大幅提高,代码已公开发布。
Jan, 2020
研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能,通过采用一种更简单的训练策略,成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果,还成功将具有密集连接的网络架构引入二进制网络领域。
Dec, 2018
本文提出一种新的 CNNs 量化方法,基于二进制权重和激活值,结合 “结构近似” 的思想使用 “Group-Net” 策略,将网络分组,将同类别的二进制分支聚合为一个完整的分组,同时学习组之间的有效连接,在移动设备上达到了较好的分类与语义分割性能,节约了大量的计算资源。
Nov, 2018
本研究针对网络二值化技术领域的准确度损失问题,提出了三种新方法:1)使用专家二值卷积提高模型容量,2)引入宽度扩展机制以提高表示容量,3)提出了一种可行的网络增长机制以获得良好的网络拓扑结构,通过实验在 ImageNet 分类任务上取得了超过以往方法 6% 的精度提升。
Oct, 2020
本研究提出了一种针对二进制网络的新型搜索体系结构,并定义了二进制层类型的新搜索空间和新的单元模板。使用零化层的新搜索目标使得搜索优良性能的二进制体系结构变得更加多样化,并在量化误差固有的二进制网络中实现稳定的训练曲线。本研究的搜索结果表明其超越了现有二进制网络的架构,并且在采用各种其他技术而非架构改变的状态下,性能明显提高。
Feb, 2020