二进制化图像修复网络的基本二值卷积单元
本文提出一种名为修正二值卷积网络(RBCNs)的优化二值卷积神经网络的方法,通过结合全精度卷积核和特征图在统一框架内实现二值化过程的校正,并使用生成对抗网络(GAN)以其相应的全精度模型为指导来训练 1 位二进制网络,从而显著提高了 BCNN 的性能。该方法的可塑性强,并可轻松纳入现有的 DCNN 中,如 WideResNets 和 ResNets。大量实验表明,所提出的 RBCNs 比最先进的 BCNNs 具有优越的性能,并在物体跟踪任务中显示了强大的泛化能力。
Aug, 2019
本文引入了一种新颖的方案来训练二值卷积神经网络,使用多个二元权重基的线性组合逼近完全精度权重,并采用多个二元激活来减轻信息丢失的问题,最终实现了一个二值卷积神经网络(ABC-Net),能够在适当的二元权重和激活函数基础上,取得与全精度神经网络相当的预测准确性。
Nov, 2017
本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN,其中可训练的权重和激活的比例因子被引入以增加值范围,并通过反向传播与其他参数一起进行训练。通过这些改进,与前人工作相比,本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3%,在 ImageNet 上,我们的方法用 AlexNet 获得 46.1%的 top-1 准确度,用 Resnet-18 获得 54.2%的 top-1 准确度。
Sep, 2019
本文介绍一种名称为 RepConv 的可替换并易于使用的卷积模块,通过在通道维度上复制输入或输出以增强特征图,以提高二进制神经网络(BNN)的性能和准确性,并使用 RepTran 规则在整个 BNN 模块中应用 RepConv 使得 BNN 在 CIFAR-10 和 ImageNet 数据集上均有显著的性能提升
Jul, 2022
最近,深度神经网络在低光原始视频增强方面取得了出色的性能。然而,它们通常具有高计算复杂性和大内存成本,限制了在资源有限设备上的应用。本文探讨了将极其紧凑的二值神经网络(BNN)应用于低光原始视频增强的可行性,并解决了融合时间信息和二值卷积之间的性能差距问题。经过广泛的定量和定性实验,我们的高效二值化低光原始视频增强方法取得了令人满意的性能。
Mar, 2024
本研究关注二值神经网络的训练精度问题,提出了一些新的设计原则,设计出了一种新的二值神经网络体系结构 BinaryDenseNet,并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。
Jun, 2019
本文中,我们提出了可用于学习视觉模型的有效二进制神经模块。我们将二进制多层感知器(MLP)块作为二进制卷积块的替代方案,通过模型化短程和长程特征依赖关系来解决二进制模型上下文依赖关系的问题。我们构建了显式上下文依赖建模的 BNNs,称为 BCDNet,在标准的 ImageNet 分类基准测试中,BCDNet 实现了 72.3%的 Top-1 准确率,并以类似的操作超越了领先的二进制方法。
Sep, 2022
本文提出一种新的 DNN 模型 LightNN,它将乘法替换成一次位移或约束数量的位移和加法,为硬件设计者提供了更多在精度和能耗之间取得平衡的选项,并且验证实验表明,LightNN 在大型 DNN 配置下具有优于传统 DNN 和 BNN 的精度和能效优势。
Dec, 2017