- AAAI弹性二进制神经网络
本文提出了一种 Resilient Binary Neural Network(ReBNN)来减轻二进制神经网络的重量震荡问题,并通过引入加权重建损失来构建自适应训练目标,该方法在计算机视觉等多种网络模型上具有优异的表现。
- 使用二进制神经网络门票在 ImageNet 上加入高精度俱乐部
通过三个互补的角度:创新设计一个基于全方位研究后的二进制结构 BNext、提出一种新的知识蒸馏技术以缓解训练极精确二进制模型时出现的过拟合问题、并使用来自全精度模型的最新技术现代化二进制网络的数据增强管线,我们让二进制神经网络在 ILSVR - LAB: 可学习激活元素二值化用于二值神经网络
本文提出了一种名为 LAB 的可学习二值化激励技术,替代二元特征映射中的 sign () 函数,其可以适用于各种已有的架构中,实验证明这种方法可以在不显著增加时间和复杂度的情况下,为四个二值神经网络模型带来明显性能提升,并在 ImageNe - 高效的多重奖励彩票:增强的准确性、训练和推理速度
本文提出了一种新的方法来学习紧凑而高精度的二进制神经网络,简单地通过修剪和量化基于随机权重的全精度神经网络。通过对 CIFAR-10 进行实验,验证了该方法的有效性,同时还解决了优化修剪比例的问题,并取得了训练速度的提升。
- ECCV二值神经网络的循环双线性优化
为了优化二值神经网络的学习过程,提出了一种从双线性的角度来优化二值神经网络的学习过程(Recorrent Bilinear Optimization),通过回溯稀疏的真实值权重过滤器,RBONNs 在各个模型和数据集上表现出了令人印象深刻的 - ECCV通过建模上下文依赖性实现精确的二进制神经网络
本文中,我们提出了可用于学习视觉模型的有效二进制神经模块。我们将二进制多层感知器(MLP)块作为二进制卷积块的替代方案,通过模型化短程和长程特征依赖关系来解决二进制模型上下文依赖关系的问题。我们构建了显式上下文依赖建模的 BNNs,称为 B - ECCVAdaBin: 自适应二值集合优化二值神经网络
本文提出了一种名为 AdaBin 的自适应二值化方法,它通过使用符号函数难以准确地将全精度值二值化的事实,使得我们获得了一组自适应的最优二进制集合,进一步提高了二值特征的表示能力。实验结果表明,AdaBin 在大量基准模型和数据集上达到了 - 基于 EEG 的情绪识别的双阶段高效三维 CNN 框架
该文章提出了一种基于 EEG 数据的、有效的情绪识别方法,使用了两阶段的框架,并通过引入二元神经网络的方法对模型进行优化,实现了在边缘设备上实时准确地识别人类情绪。
- HyBNN 和 FedHyBNN:(联邦)混合二进制神经网络
本文介绍了一种新颖的混合神经网络结构,Hybrid Binary Neural Network(HyBNN),其由一个任务无关的、通用的、全精度变分自动编码器和一个任务特定的二进制神经网络组成,它能够通过使用全精度变分自动编码器作为特征提取 - 基于 MCU 的亚毫瓦级关键词识别:模拟二进制特征提取和二进制神经网络
本文提出了一种在低成本微控制器单元上实现关键词识别的能量高效方法,其中包括使用模拟 - 二进制前端和二进制神经网络实现数字预处理的替换,将数据采集和预处理所需的能量减少了 29 倍,同时在 Speech Commands 数据集上提供 1% - CVPRPokeBNN:轻量级准确性的二进制追求
本文提出了 PokeConv,一个对二值神经网络 (BNNs) 卷积进行膨胀的方案,并对 ResNet-50 进行优化,进一步提高了准确性和网络的成本。通过定义算数计算代价 (ACE) 这样一个硬件和能源的成本度量标准,实现了准确性和成本的 - ICCVSub-bit 神经网络:学习压缩和加速二进制神经网络
介绍了一种基于子位二值化的神经网络设计,通过针对二值卷积核子集训练,使用随机采样和优化步骤来调整这些子集,从而压缩和加速二值神经网络的模型。实验证明,该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力,可以在适度降低识别准确度的情况下 - 二值神经网络的综合评述
本文全面评述了二值神经网络(BNN)的发展历程,从祖先算法到最新算法 / 技术,提出了一种广泛的设计流程,并讨论了每个模块的变体。此外,还介绍了 BNN 的应用,以及其潜在的发展方向和未来研究机会。
- MM使用二进制神经网络的通信高效联邦学习
该研究提出了一种使用二进制神经网络在联邦学习框架下进行训练的新方法,通过最大似然估计参数更新方案和理论推导,实现在无需聚合实值辅助参数的情况下,维持性能同时显著降低通信开销。
- ICMLAdam 与训练策略如何帮助 BNNs 优化?
研究二进制神经网络使用 Adam 优化相对于 SGD 优化的优势,发现 Adam 通过其自适应学习率策略更好地处理 BNN 的崎岖损失表面,并得到更好的优化结果。通过分析发现,Adam 的二阶动量正则化效应对于使 BNN 中由于激活饱和而死 - BoolNet: 二值神经网络能耗最小化
本文提出了一种名为 BoolNet 的二值神经网络(BNN)架构,该架构不使用常见的 32 位组件,能够在不影响准确性的情况下减少能源消耗,并且与现有的 BNN 架构 Bi-RealNet 相比,能够获得高达 1.2% 的额外准确性和 4. - BNN - BN = ?:无需批量归一化训练二元神经网络
通过采用自适应梯度剪切、比例重量标准化和专门的瓶颈块等技术,本研究将 BN-Free 训练的框架扩展到二进制神经网络训练,并首次证明可以完全从 BNN 的训练和推断中去除 BN 层,而不会丧失性能。
- CVPRA Bop and Beyond: 二阶优化器用于二值神经网络
本文提出了一种用于训练 BNN 的优化器方法 Bop2ndOrder,使用双曲正切函数对二值化的权重进行优化,在超参数空间的完整消融研究及对比实验中,该方法在 CIFAR10 和 ImageNet 数据集中都能够更快地收敛并获得更好的准确性 - ICCVReCU:二进制神经网络中死亡权重的复活
本文通过引入重整夹紧单元(ReCU)同时考虑权重信息熵和死权重,提出了一种针对二值神经网络(BNN)训练的新方法,实现了更快的训练和领先于最近的方法在 CIFAR-10 和 ImageNet 数据集上的性能。
- 学习频域逼近用于二值神经网络
本文提出了一种使用正弦函数组合估计傅里叶频率域中的符号函数梯度的方法,同时嵌入噪声自适应模块来弥补近似误差,结果表明该方法训练的二进制神经网络可达到最先进的精度水平。