Oct, 2023

驯服二值化神经网络与混合整数规划

PDF
TL;DR通过将训练二值化神经网络的问题重新定义为一个混合整数规划的亚可加性对偶问题，我们展示了二值化神经网络具有一种平滑可控的表示形式，从而使得在二值化神经网络的背景下可以使用 Bolte 等人的隐式微分的框架，为实际实现反向传播提供了可能。此方法还可以应用于更广泛的混合整数规划类问题，包括在人工智能及其他领域中遇到的符号方法。
发现论文，激发创造
  • 二元神经网络属性验证的混合整数规划方法

    利用混合整数规划公式验证二值化神经网络 (BNN)，检查其可行性、MNIST 数据集和飞机冲突避免控制器中的性质，并证明相较于全精度神经网络的最先进的验证算法，通过验证 BNN 节省的时间是值得的。

    Mar, 2022

  • 二进制神经网络的组合攻击

    本文研究了使用组合和整数优化来攻击二值化神经网络的问题，提出一种混合整数线性规划（MILP）的解决方案。实验表明，与标准梯度攻击（FGSM）相比，所提出的 IProp 算法表现良好，同时超越了 MILP 的限制。

    Oct, 2018

  • 自二值化网络

    本文介绍一种训练自我二值化神经网络的方法，通过使用平滑激活函数代替符号激活函数，减少二值化过程中的优化难度，同时还提出了一种简化二值批归一化的方法，实现了比传统浮点和二值网络更低的内存和计算消耗以及更高的分类准确率。

    Feb, 2019

  • 二元神经网络：综述

    本文综述了二值神经网络中直接二值化和优化二值化两种算法，其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题；同时对硬件友好设计和训练技巧等实用方面也进行了讨论，最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论，并展望了未来研究中可能面临的挑战。

    Mar, 2020

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 二元图神经网络

    本论文探讨了将二值化技术应用于图神经网络的方法，并成功设计了能够在 Hamming 空间内快速构建动态图的模型，实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。

    Dec, 2020

  • 少乘法的神经网络

    研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

    Oct, 2015

  • 二值化深度神经网络在图像分类中的研究

    本研究旨在提出一种基于二进制系统的深度神经网络，该网络可以大幅减少计算资源和存储空间的使用，从而可在各种设备上使用，并通过实验验证了该网络的可行性。

    Feb, 2016

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018