Feb, 2018

从哈希到 CNNs：通过哈希训练二值权重网络

PDF
TL;DR本文提出了一种名为 BWNH 的新方法，旨在通过哈希训练二进制权重网络，以实现高效的网络推理。实验证明，该方法在 CIFAR10、CIFAR100 和 ImageNet 数据集上的性能均优于当前状态 - of-the-art 方法。
convolutional neural networkslow-bit weight representationbinary weight networkshashingdeep learning
发现论文，激发创造
  • 能源高效的哈达玛神经网络

    通过使用二进制权重网络（BWN）和哈达玛变换图像网络（HIN）的组合，我们提出了一种新颖的低能耗模型 Binary Weight and Hadamard-transformed Image Network（BWHIN）, 在保证分类准确性的前提下实现了更高的能效。

    May, 2018

  • 二进制深度神经网络压缩哈希码学习

    本文提出了一种使用神经网络学习二进制哈希码来解决图像检索问题的算法，在无监督和监督学习模式下，通过约束其中一层直接输出二进制哈希码并融入独立性、均衡性和相似性：在学习过程中同时提取视觉特征和生成二进制哈希码，并通过交替优化和谨慎的放松来解决优化中的难点，实验表明本文提出的方法在基准数据集上表现优异。

    Dec, 2017

  • 二值深度神经网络学习哈希

    这篇论文提出了一种深度网络模型和学习算法，用于无监督和监督二进制哈希，通过约束单个隐藏层直接输出二进制代码，并在学习中严格考虑独立性和平衡性，以及相似性保持属性，从而在三个基准数据集上比先前方法表现更佳。

    Jul, 2016

  • 使用哈希技巧压缩神经网络

    本研究提出了 HashedNets 这一新型网络结构，在使用深度学习技术进行移动设备应用时，可以通过哈希函数来分组并共享连接权重参数，进而大幅缩小神经网络所需的存储空间，而不会明显影响其泛化性能。

    Apr, 2015

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • 网络草图：在深度 CNN 中利用二进制结构

    本文提出使用网络草图技术进行张量扩展从而生成二值化 CNN 网络，并且在 ImageNet 分类任务上取得了比现有模型更高的准确率。

    Jun, 2017

  • 朝着精准二值卷积神经网络

    本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

    Nov, 2017

  • 通过知识迁移训练用于自动驾驶的二进制权重目标检测器

    提出知识转移方法来辅助训练二值权重神经网络，以实现自动驾驶的实时目标检测，通过该方法可以在保持高检测准确率的同时，将 DarkNet-YOLO 和 MobileNet-YOLO 的模型大小分别从 257 MB 和 193 MB 压缩为 8.8 MB 和 7.9 MB。

    Apr, 2018

  • 用二元神经网络降低深度生成模型的计算成本

    本文研究二值神经网络在生成模型中的应用，通过开发一类新的二值权重规范化方法和提供针对这些二值化生成模型的架构设计，成功地训练出使用二值神经网络的生成模型，使得模型的计算成本大幅降低，但损失函数的值接近于原模型，模型体积更小且速度更快。

    Oct, 2020

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016