May, 2022

HyBNN 和 FedHyBNN：（联邦）混合二进制神经网络

PDF
TL;DR本文介绍了一种新颖的混合神经网络结构，Hybrid Binary Neural Network（HyBNN），其由一个任务无关的、通用的、全精度变分自动编码器和一个任务特定的二进制神经网络组成，它能够通过使用全精度变分自动编码器作为特征提取器大大限制输入二元化引起的准确性损失，结合深度神经网络的最先进的准确性以及二进制神经网络的更快的训练时间、更快的测试时间推理和更高的功率效率。我们展示了我们提出的系统能够明显优于常规的二进制神经网络。此外，我们还介绍了 FedHyBNN，这是 HyBNN 的高度通信效率的联邦学习版本，并证明它能够达到与其非联邦版本相同的准确性。
binary neural networkshybrid binary neural networkvariational autoencoderfederated learningdeep neural networks
发现论文，激发创造
  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • ReBNet: 残差二值化神经网络

    提出了 ReBNet 框架，用于训练可重构的二进制神经网络并在 FPGA 上执行，通过多级二值化提高分类准确性同时满足资源有限的设备要求。

    Nov, 2017

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • AdaBin: 自适应二值集合优化二值神经网络

    本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

    Aug, 2022

  • 二元图神经网络

    本论文探讨了将二值化技术应用于图神经网络的方法，并成功设计了能够在 Hamming 空间内快速构建动态图的模型，实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。

    Dec, 2020

  • FracBNN：具有分数激活的准确和 FPGA 高效二值神经网络

    研究提出了一个名为 FracBNN 的新型二进制神经网络模型，利用分数激活方法，通过双精度激活方案和新型冷却器编码等技术解决旧模型在现实数据集（如 ImageNet）表现不佳的问题。FracBNN 可以实现同等规模的 MobileNetV2 的精准率，且模型尺寸减少了 2.5 倍。在嵌入式 FPGA 设备上，FracBNN 显示出实时图像分类的能力。

    Dec, 2020

  • RepBNN: 通过重复以增强特征图的方式朝着更精确的二值神经网络迈进

    本文介绍一种名称为 RepConv 的可替换并易于使用的卷积模块，通过在通道维度上复制输入或输出以增强特征图，以提高二进制神经网络（BNN）的性能和准确性，并使用 RepTran 规则在整个 BNN 模块中应用 RepConv 使得 BNN 在 CIFAR-10 和 ImageNet 数据集上均有显著的性能提升

    Jul, 2022

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 二进制集成神经网络：每个网络的比特数更多还是每个比特的网络数更多？

    对二元神经网络进行了广泛的实验以了解其表示能力、速度及偏差 / 方差。提出了一种二元集成神经网络，通过集成方法来提高二元神经网络的性能，从而更快、更鲁棒，甚至能够超越具有相同结构的完全精确的浮点数网络的准确性。

    Jun, 2018