AAAISep, 2019

线性上下文转换块

PDF
TL;DR本文提出 Linear Context Transform (LCT) 块，一种基于通道分组和线性变换的轻量级模块，可用于不同主干模型中。与 Squeeze-and-Excitation 块相比，LCT 块在 ImageNet 图像分类和 COCO 数据集目标检测 / 分割中，均获得了更好的性能，且对于不同基线模型均具有较高的一致性表现。
squeeze-and-excitation blocklinear context transform blockglobal contextattention distributionimage classification
发现论文，激发创造
  • 压缩与激励网络

    本研究提出了一种新的神经网络单元 SE 块来自适应地重新校准通道特征响应，进一步提高 CNN 架构的性能，并在 ILSVRC 2017 分类中取得了一流的成绩。

    Sep, 2017

  • 用于视觉识别的门控通道变换

    本文提出了一种适用于卷积神经网络在视觉识别中的通用变换单元，它能明确建模可解释的控制变量，以确定神经元行为与卷积权重联合优化以提高识别精度，并使用通道标准化层来减少参数数量和计算复杂度。实验表明该单元在多项视觉任务上具有明显优势。

    Sep, 2019

  • 针对视觉识别的上下文转换网络

    该论文提出了一种新颖的 Transformer 风格模块，即 Contextual Transformer (CoT) 块，它完全利用输入键之间的情境信息来指导动态注意力矩阵的学习，从而增强了视觉表示能力，可作为更强大的骨干网。

    Jul, 2021

  • GCNet: 非局部网络与 Squeeze-Excitation 网络的结合及其扩展

    利用非局部网络模型的观察结果，本研究提出一种基于查询无关表述的简化模型并将其与收缩 - 激励 (SENet) 模型进行统一，得到了一种三步的通用框架用于全局上下文建模，该框架中的轻量 GC 块可以高效地建模全局上下文，并可以应用于构建 GCNet 神经网络中的多层，该实例的性能优于 NLNet 和 SENet.

    Apr, 2019

  • 利用空间和通道 “压缩与激励” 块重新校准全卷积网络

    本文介绍了一种基于 “挤压与激励” 模块的语义分割模型架构，通过简单计算模块提高模型分割精度，模块只带来了 1.5% 的模型复杂度增加。

    Aug, 2018

  • Squeeze and Excitation 网络的变体

    本文提出了 SE 模块的变体，通过改进挤压和兴奋的过程，实现了平滑的层权重过渡和强化性能，在残差网络上进行实验的结果表明，这些变体保留了 SE 模块的特性。

    Apr, 2023

  • 全卷积网络中的并发空间和通道压缩与激励

    本文提出使用 Squeeze & Excitation 模块，分别从空间和通道两个角度分为三个变体，提高卷积神经网络的特征表示能力，在脑部和器官分割上取得了良好的效果。

    Mar, 2018

  • X-Linear Attention Networks 图像标注

    本文为了提高图像描述任务中的交叉多模态推理（Multi-modal Reasoning）表现，提出了一种新颖的 X-Linear 注意力块和注意力网络（X-LAN），利用双线性池化策略和指数线性单元（Exponential Linear Unit，ELU），有效消除了注意机制和交互式双线性建模之间的性能差距，实现了对图像和文本高阶内模态和交叉模态信息的提取。同时，在 Transformer 中加入 X-Linear 注意力块，可以进一步提升模型表现。

    Mar, 2020

  • 集合压缩激励网络

    本研究提出了一种称为 SaEnet 的方法，该方法利用多层感知机和聚合激活网络构建卷积神经网络的全局通道表示，通过在层之间诱导全局表示，并在网络中引入多分支线性层，从而增强网络的表征能力。通过使用 Imagenet 和 CIFAR100 数据集进行大量实验证明，该模型的性能与现有最先进的架构相当甚至更好。

    Aug, 2023

  • 基于目标和上下文感知 Transformer 的高效零样本视觉检索

    该研究提出了一种零样本深度学习架构 TCT（Target and Context-aware Transformer），结合目标和上下文信息进行图像搜索，表现出类人的搜索效率，在具有挑战性的视觉搜索任务中超越最先进的模型，并在具有不协调上下文的不变视觉搜索下展现出灵活的搜索方式。

    Nov, 2022