Apr, 2019

GCNet: 非局部网络与 Squeeze-Excitation 网络的结合及其扩展

PDF
TL;DR利用非局部网络模型的观察结果，本研究提出一种基于查询无关表述的简化模型并将其与收缩 - 激励 (SENet) 模型进行统一，得到了一种三步的通用框架用于全局上下文建模，该框架中的轻量 GC 块可以高效地建模全局上下文，并可以应用于构建 GCNet 神经网络中的多层，该实例的性能优于 NLNet 和 SENet.
发现论文，激发创造
  • 全球上下文网络

    本论文提出了全局上下文网络 (GCNet)，它通过一个基于无查询的公式的简化网络来实现比 Non-Local Network (NLNet) 更轻量级的全局上下文建模，并在多个骨干网络层次上使用它来构建全局上下文网络。在各种识别任务的主要基准测试中，GCNet 通常优于 NLNet。

    Dec, 2020

  • 压缩与激励网络

    本研究提出了一种新的神经网络单元 SE 块来自适应地重新校准通道特征响应，进一步提高 CNN 架构的性能，并在 ILSVRC 2017 分类中取得了一流的成绩。

    Sep, 2017

  • 序列学习的上下文非局部神经网络

    本文提出了 contextualized non-local neural networks (CN3) 模型，它综合了 self-attention 和 graph neural networks 两种方法的优点，能在一定范围内构建特定任务的句子结构，从而在文本分类、语义匹配和序列标注等 10 个 NLP 任务中表现优异。

    Nov, 2018

  • 集合压缩激励网络

    本研究提出了一种称为 SaEnet 的方法，该方法利用多层感知机和聚合激活网络构建卷积神经网络的全局通道表示，通过在层之间诱导全局表示，并在网络中引入多分支线性层，从而增强网络的表征能力。通过使用 Imagenet 和 CIFAR100 数据集进行大量实验证明，该模型的性能与现有最先进的架构相当甚至更好。

    Aug, 2023

  • 通过压缩推理实现高效场景理解

    本文提出了一种称为 Squeeze Reasoning 的新框架，用于增强卷积神经网络中的上下文建模能力，有效地解决了像非本地块这样的图卷积模型的像素级计算开销过高的问题，该方法在不同的语义分割数据集上实现了显著的结果，并且在物体检测，实例分割和全景分割等各种场景理解任务中都表现出了重要的改进。

    Nov, 2020

  • 用于实时语义分割网络搜索的局部到全局信息通信

    本文提出了一种名为 LGCNet 的神经架构搜索框架，该框架采用新的搜索空间来有效地搜索轻量级模型，并通过引入 GCN 引导模块实现局部信息交换和提出新型的密集连接融合模块来实现全局信息聚合，同时还引入了基于时延的约束来平衡准确性和速度。大量实验证明，LGCNet 在 Cityscapes 和 CamVid 数据集上取得了最新的最先进的准确性和速度的平衡。

    Feb, 2023

  • 紧凑广义非局部网络

    为更好地识别细粒度对象和动作，我们扩展了非局部模块，考虑了任意两个通道位置之间的关系，并在通道组内实现以优化性能。实验结果表明，扩展的非局部模块在细粒度对象识别和视频分类上有明显的改进和实用价值。

    Oct, 2018

  • SENetV2：用于通道和全局表示的聚合稠密层

    本文介绍了一种通过与密集层结合的聚合多层感知机，用于改进现有体系结构，提高高级特征表示能力的方法。通过对基于图像分类的现有体系结构进行实验比较，结果表明该方法显著提高了分类准确度。

    Nov, 2023

  • LatentGNN：学习高效非局部关系以用于视觉识别

    该研究提出了一种基于图神经网络和潜在空间的方法，以降低图的复杂度从而实现对视觉特征的非局部关联表示，并在三项主要的视觉识别任务上展示了其具有较高的性能和较低的计算成本。

    May, 2019

  • 线性上下文转换块

    本文提出 Linear Context Transform (LCT) 块，一种基于通道分组和线性变换的轻量级模块，可用于不同主干模型中。与 Squeeze-and-Excitation 块相比，LCT 块在 ImageNet 图像分类和 COCO 数据集目标检测 / 分割中，均获得了更好的性能，且对于不同基线模型均具有较高的一致性表现。

    Sep, 2019