NIPSNov, 2016

二值量化层的高效卷积神经网络

PDF
TL;DR本文介绍了一种使用卷积神经网络 (CNN) 的一般语义进行图像分割的新方法，该方法采用二进制编码的 CNN 特征，并作为网络末端的额外层进行嵌入，最终实现实时分割。实验表明，我们的分割算法在大多数非语义分割方法方面都优于现有的最先进技术。
segmentationconvolutional neural networkbinary encodingreal-time segmentationsemantic image segmentation
发现论文，激发创造
  • 结构化二进制神经网络用于精确图像分类和语义分割

    本文提出一种新的 CNNs 量化方法，基于二进制权重和激活值，结合 “结构近似” 的思想使用 “Group-Net” 策略，将网络分组，将同类别的二进制分支聚合为一个完整的分组，同时学习组之间的有效连接，在移动设备上达到了较好的分类与语义分割性能，节约了大量的计算资源。

    Nov, 2018

  • 结构化二进制神经网络用于图像识别

    通过量化模型，将卷积神经网络结构进行近似重构，创新性地提出群组分解策略（Group-Net），并嵌入上下文信息以进行准确的语义分割，首次将二进制神经网络应用于目标检测，展示了在精度和计算效率方面优于文献中各种量化网络的方法。

    Sep, 2019

  • 使用训练二值化的准确紧凑卷积神经网络

    本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

    Sep, 2019

  • 移动设备上的量化卷积神经网络

    该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

    Dec, 2015

  • 精度生物医学图像分割的完全卷积网络量化

    本文旨在探讨量化技术在深度神经网络（DNN）和全卷积神经网络（FCN）的生物医学图像分割中的应用，而不是仅仅将其用于降低内存和计算复杂度。实验结果表明，在 MICCAI Gland 数据集上，我们的方法不仅优于现有的技术，而且可以使内存使用降低多达 6.4 倍。

    Mar, 2018

  • 利用矢量量化压缩深度卷积网络

    本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。

    Dec, 2014

  • 可验证和高能效的医学图像分析：基于量化自注意力深度神经网络

    通过使用基于自注意力的量化独立模型代替传统的卷积神经网络，我们在分类和分割任务上实验验证了其性能，发现在 CPU 预测时，模型大小可减少 50-80％，参数数量可减少 60-80％，FLOPs 数可减少 40-85％，能源效率可提高 65-80％，这种代替的方法是一种可选的解决方案。

    Sep, 2022

  • SUBIC: 一种用于图片搜索的有监督结构化二进制编码

    本研究提出了一种基于深度卷积神经网络实现的、有监督且压缩的、结构化二进制编码的方法。通过使用块 softmax 非线性和基于批次的熵损失，本方法可以使学习到的编码具有结构性，并在单一和交叉领域分类、实例检索和类别检索等任务中，表现出比基于深度哈希或结构化量化的现有压缩表示更好的性能。

    Aug, 2017

  • 学习卷积网络实现内容加权图像压缩

    本研究提出了一个基于卷积神经网络、内容感知的比特率分配策略及基于二值化的量化方法，使用内容加权重要度图控制压缩率，同时结合 ImageNet 数据库进行端到端优化，实验结果表明本方法在低比特率下比 JPEG 和 JPEG 2000 更优秀，并产生更好的视觉效果。

    Mar, 2017

  • 用于人体姿态估计和图像识别的二进制网络的改进训练

    本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

    Apr, 2019