Jun, 2023

通过多尺度类别表征响应相似性分析系统化构建尺度转换关注凝聚 DNN 的架构设计

PDF
TL;DR本文提出了一种多尺度类表示响应相似性分析（ClassRepSim）的 DNN 分析方法，通过该方法提出了一种基于关注凝结器（STAC）的注意力机制模块，将其应用于 ResNet 风格的架构中，实现了在 ImageNet64x64 数据集上比普通 ResNet 模型的 top-1 精度提升了 1.6%、比 SENet 模型的 top-1 精度提升了 0.5% 的结果。同时，还证明了该方法的结果可以用于有效地参数化 STAC 模块，而不需要进行大量的参数搜索。
self-attention mechanismsdnn analysisstac moduleresnetimagenet64x64 dataset
发现论文，激发创造
  • 多阶段跨尺度注意力的视觉骨干增强

    我们提出了一个简单的附加注意力模块，通过多阶段和跨尺度的相互作用，克服了 CNN 和 ViTs 在视觉任务中相互特征图之间的互动不足，从而显着提高了性能。

    Aug, 2023

  • 针对参数高效视觉骨干，扩大局部自注意力的规模

    该论文研究了自注意力在计算机视觉领域的应用，并提出了两种改进模型的方法，使其在速度、内存使用和准确性等方面优于传统的卷积模型，进而提出了一种名为 HaloNets 的新的自注意力模型家族，并在 ImageNet 分类基准测试中取得了最先进的准确性。

    Mar, 2021

  • 基于混合卷积 - 变换器架构搜索的实时图像分割

    通过使用多头自注意力结构，结合架构搜索方法，本研究提出了一种高效且有效的高分辨率图像分割神经网络架构，名为 HyCTAS，通过在多个分辨率的分支之间融合轻量级卷积层和内存高效的自注意力层，提高了语义分割任务的性能。

    Mar, 2024

  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • 共组卷积 - 注意力图像变换器

    本文提出了一种基于变压器的图像分类器 Co-scale conv-attentional image Transformers (CoaT)，它具有多尺度和上下文建模能力，其中的 co-scale 和卷积注意机制可以帮助实现表示和通信，且在 ImageNet 数据集上的分类表现优于同样大小的卷积神经网络和图像 / 视觉变压器，可用于下游的计算机视觉任务。

    Apr, 2021

  • 随机尖峰注意力：在尖峰网络中利用随机计算加速注意力

    通过利用随机计算（SC）执行基于脉冲神经网络（SNN）的 Transformer 模型的点积注意力机制，实现高准确率和能源效率。

    Feb, 2024

  • 双重浓缩注意力凝聚器：利用深度学习中的注意力来检测皮肤癌

    通过结合具有高速和更高效计算能力的双重压缩注意力凝聚器（DC-AC）的自注意神经网络骨干架构，本文探讨了利用高效的自注意结构来检测皮肤病变图像中的皮肤癌，并介绍了一种专为皮肤癌检测而定制的深度神经网络设计。该模型作为全球开源倡议的一部分，致力于加速机器学习在医学界对抗癌症方面的发展。

    Nov, 2023

  • 金字塔注意力网络用于图像修复

    将金字塔注意力模块用于图像修复能够提高深度卷积神经网络方法的自相似性，从而能够更好地处理在不同尺度上具有类似模式的图像，并可应用于多种图像修复任务中，包括图像去噪、去马赛克、减少压缩伪影和超分辨率。

    Apr, 2020

  • 卷积自注意力网络

    本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

    Apr, 2019

  • 一种拓扑注意力 ConvLSTM 网络及其在 EM 图像中的应用

    本文提出了一种新的形态拓扑注意力图卷积长短记忆网络（TACNet）用于生物医学图像的三维分割，其中采用了 ConvLSTM 和迭代形态拓扑注意（ITA）模块，对于三维分割任务可以实现高的结构准确性和更稳定的关键拓扑图，定量定性结果表明该方法在拓扑感知指标方面优于其他基线模型。

    Feb, 2022