Sep, 2022

可验证和高能效的医学图像分析：基于量化自注意力深度神经网络

PDF
TL;DR通过使用基于自注意力的量化独立模型代替传统的卷积神经网络，我们在分类和分割任务上实验验证了其性能，发现在 CPU 预测时，模型大小可减少 50-80％，参数数量可减少 60-80％，FLOPs 数可减少 40-85％，能源效率可提高 65-80％，这种代替的方法是一种可选的解决方案。
发现论文，激发创造
  • 移动设备上的量化卷积神经网络

    该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

    Dec, 2015

  • 卷积神经网络量化与注意力机制

    本文提出双阶段压缩与阈值化方法 (double-stage ST)，使用注意力机制量化网络，在卷积前插入即可实现，达到超越全精度基线模型的准确性。

    Sep, 2022

  • 精度生物医学图像分割的完全卷积网络量化

    本文旨在探讨量化技术在深度神经网络（DNN）和全卷积神经网络（FCN）的生物医学图像分割中的应用，而不是仅仅将其用于降低内存和计算复杂度。实验结果表明，在 MICCAI Gland 数据集上，我们的方法不仅优于现有的技术，而且可以使内存使用降低多达 6.4 倍。

    Mar, 2018

  • 自注意力在医学图像分析中的效果研究

    本文全面比较了各种最先进的自注意机制在多个医学图像分析任务中的效果，并通过定量、定性和临床用户调查，旨在深入了解自注意在医学计算机视觉任务中的影响。

    Sep, 2021

  • 仅使用基于注意力的神经网络进行图像压缩

    本研究探讨了只使用注意力层进行图像压缩的可行性，并在我们的新模型 QPressFormer 中引入了学习的图像查询的概念，通过交叉注意力聚合补丁信息，然后进行量化和编码技术，通过对 Kodak、DIV2K 和 CLIC 数据集进行全面评估，显示了无卷积架构在图像压缩中达到了竞争性的性能。

    Oct, 2023

  • 当医学影像遇上自注意力机制：一段并未很成功的爱情故事

    通过在医学图像上扩展卷积神经网络结构，研究了自注意机制的应用，发现仅仅加入自注意机制并不能提升现有的完全卷积方法的性能。

    Apr, 2024

  • 医学图像分割的多尺度自引导注意力

    采用引导自我关注机制的卷积神经网络模型对医学图像进行语义分割，能够更好地捕捉图像中的上下文依赖关系，去除冗余的信息提取并集成本地特征和全局依赖，强调相关特征关联，从而取得更好的分割效果。

    Jun, 2019

  • 利用矢量量化压缩深度卷积网络

    本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。

    Dec, 2014

  • 移动网络中量化友好的可分离卷积

    本文分析了 MobileNetV1 量化造成的精度损失问题，并提出了一种友好于量化的可分离卷积架构，经 ImageNet2012 数据集测试，我们改进后的 MobileNetV1 模型能够以 8 位推理精度达到 68.03%，几乎与其浮点精度模型无异。

    Mar, 2018

  • And the Bit Goes Down: 重新审视神经网络量化

    本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

    Jul, 2019