Oct, 2018

利用特征上下文在卷积神经网络中进行 Gather-Excite

PDF
TL;DR本文提出了一种针对卷积神经网络中上下文利用的简单、轻量级方法，引入了一对操作符：gather 和 excite，可直接在现有的体系结构中集成，通过实验发现，gather-excite 方法可以在成本的一小部分内实现与增加 CNN 深度相当的性能提升。
convolutional neural networkscontext exploitationgather-excite operatorsresnet-50squeeze-and-excitation networks
发现论文，激发创造
  • SENetV2：用于通道和全局表示的聚合稠密层

    本文介绍了一种通过与密集层结合的聚合多层感知机，用于改进现有体系结构，提高高级特征表示能力的方法。通过对基于图像分类的现有体系结构进行实验比较，结果表明该方法显著提高了分类准确度。

    Nov, 2023

  • 压缩与激励网络

    本研究提出了一种新的神经网络单元 SE 块来自适应地重新校准通道特征响应，进一步提高 CNN 架构的性能，并在 ILSVRC 2017 分类中取得了一流的成绩。

    Sep, 2017

  • 集合压缩激励网络

    本研究提出了一种称为 SaEnet 的方法，该方法利用多层感知机和聚合激活网络构建卷积神经网络的全局通道表示，通过在层之间诱导全局表示，并在网络中引入多分支线性层，从而增强网络的表征能力。通过使用 Imagenet 和 CIFAR100 数据集进行大量实验证明，该模型的性能与现有最先进的架构相当甚至更好。

    Aug, 2023

  • Squeeze and Excitation 网络的变体

    本文提出了 SE 模块的变体，通过改进挤压和兴奋的过程，实现了平滑的层权重过渡和强化性能，在残差网络上进行实验的结果表明，这些变体保留了 SE 模块的特性。

    Apr, 2023

  • 准确性增强器：使用特征图重新校准提升性能

    通过引入低复杂度的 CNN 架构模块，我们的方法在提高模型表现方面相较于已有方法性能更好，尤其是在 ResNet-50 分类方面，其表现与 ResNet-152 相当，且具有良好的泛化性能。

    Mar, 2019

  • 使用 Project & Excite 重新校准 3D ConvNets

    本文介绍了一个新颖的通用操作流程来在 3D 卷积神经网络中扩展现有的 2D 重新校准方法，并提出了专为 3D 网络定制的 Project & Excite（PE）模块，使其能更好地保留空间信息并实现对医学图像的分割性能提升。

    Feb, 2020

  • 全卷积网络中的并发空间和通道压缩与激励

    本文提出使用 Squeeze & Excitation 模块，分别从空间和通道两个角度分为三个变体，提高卷积神经网络的特征表示能力，在脑部和器官分割上取得了良好的效果。

    Mar, 2018

  • 上下文门控卷积

    该论文提出了一种基于全局上下文动态调整卷积层权重的上下文门控卷积（CGC）方法，旨在更好地提取本地模式和生成区分特征，经过大量实验，该方法在图像分类、动作识别和机器翻译等任务上均有显著的性能提升。

    Oct, 2019

  • 空间分组增强：改进卷积神经网络中的语义特征学习

    本文提出了一种基于空间组别增强（SGE）的卷积神经网络模块，通过生成每个语义组中每个空间位置的注意力系数来调整每个子特征的重要性，可以在仅接受类别监督训练的情况下显著提高图像识别任务的性能。

    May, 2019

  • SECNN：用于句子分类的挤压和激活卷积神经网络

    我们的研究工作提出了一种用于句子分类的 Squeeze-and-Excitation 卷积神经网络（SECNN），该网络利用多个 CNN 的特征图作为句子表示的不同通道，并结合通道注意机制（SE attention mechanism）学习不同通道特征的注意权重，实现了在句子分类任务上先进的性能。

    Dec, 2023