精确二值形态神经网络的基础
本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法,通过改进梯度下降算法中的反向传播计算,在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。
Dec, 2018
用离散形态神经网络(DMNN)进行二进制图像转换,表示具有特定特性的 W 算子,并通过机器学习来估计它们,同时提出了一种用于学习无限制顺序 DMNN(USDMNN)的算法。
Oct, 2023
本文介绍了一种对二值化神经网络进行训练的方法,并在 Torch7 和 Theano 两个框架下,对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验,取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值,可以大幅减少内存消耗,用位运算取代大多数算术运算,并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍,而不会损失分类准确度。
Feb, 2016
本文介绍一种训练自我二值化神经网络的方法,通过使用平滑激活函数代替符号激活函数,减少二值化过程中的优化难度,同时还提出了一种简化二值批归一化的方法,实现了比传统浮点和二值网络更低的内存和计算消耗以及更高的分类准确率。
Feb, 2019
本论文探讨了将二值化技术应用于图神经网络的方法,并成功设计了能够在 Hamming 空间内快速构建动态图的模型,实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。
Dec, 2020
本文研究二值神经网络在生成模型中的应用,通过开发一类新的二值权重规范化方法和提供针对这些二值化生成模型的架构设计,成功地训练出使用二值神经网络的生成模型,使得模型的计算成本大幅降低,但损失函数的值接近于原模型,模型体积更小且速度更快。
Oct, 2020
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法,并在 Torch7 和 Theano 框架上进行了实验,在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时,作者提出了一种二进制矩阵乘法 GPU 核函数,使得 MNIST BNN 可以比优化前快 7 倍,而不影响分类准确性。
Feb, 2016
本文综述了二值神经网络中直接二值化和优化二值化两种算法,其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题;同时对硬件友好设计和训练技巧等实用方面也进行了讨论,最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论,并展望了未来研究中可能面临的挑战。
Mar, 2020
本研究旨在提出一种基于二进制系统的深度神经网络,该网络可以大幅减少计算资源和存储空间的使用,从而可在各种设备上使用,并通过实验验证了该网络的可行性。
Feb, 2016