May, 2024

通过特殊设计的上采样和注意力，实现密集预测的二进制量化神经网络

PDF
TL;DR提出了一种有效的上采样方法和高效的注意力计算策略，以实现从单一预测任务到密集预测任务的二进制神经网络（BNN）成功的转移。在 Cityscapes、KITTI road 和 ECSSD 上的实验充分显示了我们工作的有效性。
deep learningdense predictionupsampling methodattention computationquantization
发现论文，激发创造
  • 高效多任务密集预测器通过二值化

    利用网络二值化和知识蒸馏机制加快多任务密集预测模型的速度，同时保持甚至提高模型性能。

    May, 2024

  • 卷积神经网络量化与注意力机制

    本文提出双阶段压缩与阈值化方法 (double-stage ST)，使用注意力机制量化网络，在卷积前插入即可实现，达到超越全精度基线模型的准确性。

    Sep, 2022

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 结构化二进制神经网络用于图像识别

    通过量化模型，将卷积神经网络结构进行近似重构，创新性地提出群组分解策略（Group-Net），并嵌入上下文信息以进行准确的语义分割，首次将二进制神经网络应用于目标检测，展示了在精度和计算效率方面优于文献中各种量化网络的方法。

    Sep, 2019

  • 可验证和高能效的医学图像分析：基于量化自注意力深度神经网络

    通过使用基于自注意力的量化独立模型代替传统的卷积神经网络，我们在分类和分割任务上实验验证了其性能，发现在 CPU 预测时，模型大小可减少 50-80％，参数数量可减少 60-80％，FLOPs 数可减少 40-85％，能源效率可提高 65-80％，这种代替的方法是一种可选的解决方案。

    Sep, 2022

  • 理解卷积在语义分割中的应用

    该论文提出了一种改进像素级语义分割的深度学习方法，其中涵盖了密集上采样卷积和混合空洞卷积框架，达到了在 Cityscapes 等数据集上的最先进结果。

    Feb, 2017

  • 结构化二进制神经网络用于精确图像分类和语义分割

    本文提出一种新的 CNNs 量化方法，基于二进制权重和激活值，结合 “结构近似” 的思想使用 “Group-Net” 策略，将网络分组，将同类别的二进制分支聚合为一个完整的分组，同时学习组之间的有效连接，在移动设备上达到了较好的分类与语义分割性能，节约了大量的计算资源。

    Nov, 2018

  • 二值量化层的高效卷积神经网络

    本文介绍了一种使用卷积神经网络 (CNN) 的一般语义进行图像分割的新方法，该方法采用二进制编码的 CNN 特征，并作为网络末端的额外层进行嵌入，最终实现实时分割。实验表明，我们的分割算法在大多数非语义分割方法方面都优于现有的最先进技术。

    Nov, 2016

  • 稀疏卷积神经网络的聚焦量化

    本文提出一种基于二次幂值的、专注于稀疏 CNN 的量化策略，并结合无损编码构建一种高压缩比、计算成本低、准确率几乎无损的压缩管线，在 ResNet-50 网络上实现 18.08x CR 的压缩效果，同时也证明更硬件有效。

    Mar, 2019

  • 用于人体姿态估计和图像识别的二进制网络的改进训练

    本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

    Apr, 2019