网络草图:在深度 CNN 中利用二进制结构
通过量化模型,将卷积神经网络结构进行近似重构,创新性地提出群组分解策略(Group-Net),并嵌入上下文信息以进行准确的语义分割,首次将二进制神经网络应用于目标检测,展示了在精度和计算效率方面优于文献中各种量化网络的方法。
Sep, 2019
本文引入了一种新颖的方案来训练二值卷积神经网络,使用多个二元权重基的线性组合逼近完全精度权重,并采用多个二元激活来减轻信息丢失的问题,最终实现了一个二值卷积神经网络(ABC-Net),能够在适当的二元权重和激活函数基础上,取得与全精度神经网络相当的预测准确性。
Nov, 2017
本文提出了一种名为 BWNH 的新方法,旨在通过哈希训练二进制权重网络,以实现高效的网络推理。实验证明,该方法在 CIFAR10、CIFAR100 和 ImageNet 数据集上的性能均优于当前状态 - of-the-art 方法。
Feb, 2018
本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型,从而实现比二进制 CNN 模型更高的压缩比,比现有方法维持相似精度。
Oct, 2020
本文提出一种新的 CNNs 量化方法,基于二进制权重和激活值,结合 “结构近似” 的思想使用 “Group-Net” 策略,将网络分组,将同类别的二进制分支聚合为一个完整的分组,同时学习组之间的有效连接,在移动设备上达到了较好的分类与语义分割性能,节约了大量的计算资源。
Nov, 2018
研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能,通过采用一种更简单的训练策略,成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果,还成功将具有密集连接的网络架构引入二进制网络领域。
Dec, 2018
本研究提出了使用进化搜索来促进 MobileNet 的二值化设计和训练方案,通过操作组卷积的想法来设计高效的 1 位卷积神经网络,从而探索最佳的候选组卷积,以优化模型性能,并在 ImageNet 上进行了各种实验,展示了我们的构建指南,最终模型在相同计算成本下超越了现有技术。
May, 2020
本文提出了一种新颖的网络剪枝方法 FilterSketch,运用了保留预训练网络权重信息的技巧,通过矩阵描绘,实现了剪枝优化的高效求解,同时不必进行基于数据的迭代优化,节约了大量时间,并且能够在简单微调过程中恢复剪枝网络的表达能力。
Jan, 2020
本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN,其中可训练的权重和激活的比例因子被引入以增加值范围,并通过反向传播与其他参数一起进行训练。通过这些改进,与前人工作相比,本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3%,在 ImageNet 上,我们的方法用 AlexNet 获得 46.1%的 top-1 准确度,用 Resnet-18 获得 54.2%的 top-1 准确度。
Sep, 2019
本论文探讨了将二值化技术应用于图神经网络的方法,并成功设计了能够在 Hamming 空间内快速构建动态图的模型,实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。
Dec, 2020