门控形状卷积神经网络用于语义分割

Jul, 2019

门控形状卷积神经网络用于语义分割

Gated-SCNN: Gated Shape CNNs for Semantic Segmentation

Towaki Takikawa, David Acuna, Varun Jampani, Sanja Fidler

TL;DR本文提出了一种新的双流 CNN 架构，其中显式地将形状信息作为单独的处理分支，即形状流，以并行方式处理信息。此架构的关键是一种连接两个流的中间层的新型门，用于连接经典流的高级激活以控制形状流的低级激活，有效地消除噪声并帮助形状流仅关注处理相关边界信息。实验表明，该方法在 Cityscapes 基准上可以显着提高细小物体的性能，并取得了最先进的性能。

Abstract

Current state-of-the-art methods for image segmentation form a dense image representation where the color, shape and texture information are all processed together inside a deep CNN. This however may not be ideal as they contain very different type of information relevant for recogniti

image segmentation two-stream cnn shape information boundary-related information cityscapes benchmark

发现论文，激发创造

视频动作识别的门移网络

本文中提出使用空间门控机制来处理 3D 核的空间 - 时间分解，实现 Gate-Shift Module (GSM) 用于视频动作识别，结果在 Something Something-V1 和 Diving48 数据集上达到了最新的最优结果，而且在 EPIC-Kitchens 数据集上，获得了竞争性结果，具有远低于模型复杂度的优点。

Dec, 2019

学习条件通道门控网络的批处理形态塑造

通过细粒度分层的对卷积特征进行条件开 / 关设置和匹配预设分布的批量形状代码，我们提出了可训练大容量神经网络的新方法，从而大幅提升准确性而降低动态运算代价，其效果已在 CIFAR-10、ImageNet 和 Cityscapes 等数据集上得以验证。

Jul, 2019

空间深度：用于交通场景理解的空间卷积神经网络

本文介绍了一种名为 Spatial CNN (SCNN) 的神经网络，该网络利用了基于特征图的层间切片卷积来实现像素之间的跨行列信息传递，从而加强了卷积神经网络 (CNN) 学习结构输出的能力，特别适用于具有强空间关系但较少外表线索的目标识别任务，例如交通车道检测。实验结果表明，与传统的 RNN 和 MRF+CNN（MRFNet）相比，SCNN 可显著提高车道检测数据集的准确度。

Dec, 2017

基于形状全卷积网络的 3D 形状分割

本文提出一种新的形状全卷积网络 (Shape Fully Convolutional Networks，SFCN) 架构，用于三维形状的分割，该架构基于图形卷积和池化操作。同时，基于 SFCN 架构，还提出了一种新的形状分割方法，并采用基于特征投票的多标签图割算法来优化 SFCN 预测得到的分割结果。实验结果表明，我们的方法在学习和预测相似或不同特征的混合形状数据集方面表现出很好的效果。

Feb, 2017

全连接深层结构网络

该研究提出了一种单一联合训练算法，能够有效地应用于语义图像分割任务，并在具有挑战性的 PASCAL VOC 2012 数据集上呈现鼓舞人心的结果。

Mar, 2015

无缝场景分割

本研究提出了一种基于 CNN 的新型架构，可以进行端到端的训练，以提供无缝的场景分割结果。该网络结构采用了一种新颖的分割头，将由特征金字塔网络生成的多尺度特征与由轻量级 DeepLab 模块传递的上下文信息进行了无缝整合，从而预测一致的语义分割和检测结果。此外，研究人员还提出了一种替代 panoptic 度量的方法，克服了评估非实例类别时的局限性。通过在三个具有挑战性的街景数据集上测试，即 Cityscapes、Indian Driving Dataset 和 Mapillary Vistas，我们的网络架构取得了最先进的结果。

May, 2019

卷积特征屏蔽用于联合目标和物体分割

通过在卷积特征映射上采用掩蔽方法，本文提出了一种利用形状信息的方法来进行语义分割，实现了物体和场景的处理，并在 PASCAL VOC 数据集和新的 PASCAL-CONTEXT 数据集上展示了最先进的结果，具有令人信服的计算速度。

Dec, 2014

基于门控连体卷积神经网络的人体再识别架构

本文提出了一种用于跨摄像头匹配行人的人体再识别框架，通过引入一个选择性强化细粒度共有的局部模式的门控函数，将同一身份的图像向量嵌入到特征空间中更密集的区域，提高了再识别的性能。在 CUHK03、Market-1501 和 VIPeR 数据集上的实验证明，与基线 Siamese CNN 架构相比，该框架表现更优。

Jul, 2016

图嵌入的两流场景理解

本论文提出了一种新颖的双流网络架构，通过结合图像特征流和图特征流，旨在提高图像分类和场景图生成任务的性能。利用多种数据融合方法将这两个流融合起来，以充分发挥基于图和基于图像的特征的互补优势。实验证明，该双流网络在提高图像分类准确性方面优于传统方法，对计算机视觉领域，尤其是场景理解和图像分类领域具有重要贡献。

Nov, 2023

目标边界引导的语义分割

本文介绍了一种名为 OBG-FCN 的全卷积神经网络，它能够利用物体边界信息以完成更为精细的语义分割，其在 PASCAL VOC 分割基准测试上得到了显著的优化。

Mar, 2016