CVPRApr, 2024

BiSeNet 的复仇：高效的多任务图像分割

PDF
TL;DR提出了一种针对图像分割的高效多任务架构 BiSeNetFormer，能够在保持高效和准确性的同时处理多种分割任务，其结果表明 BiSeNetFormer 在模型效率和任务适应性之间构建了桥梁，具有快速、高效和多任务分割网络的显著进展。
image segmentationmulti-task segmentationefficient modelsbisenetformertask adaptability
发现论文，激发创造
  • BiSeNet: 双边分割网络用于实时语义分割

    本文提出了一种名为 Bilateral Segmentation Network（BiSeNet）的新型网络结构，通过引入 Spatial Path、Context Path 以及 Feature Fusion Module 三个模块，实现了在保持高分辨率的同时增加感受野，达到了在 Cityscapes、CamVid 和 COCO-Stuff 数据集上速度和分割性能相对平衡的效果，对于 2048x1024 的输入，我们在 Cityscapes 测试数据集上实现了 68.4％的平均 IOU，在 NVIDIA Titan XP 卡上的速度为 105 FPS，比现有方法更快，同时性能相当。

    Aug, 2018

  • BiSeNet V2：带有引导聚合的双边网络用于实时语义分割

    该研究提出了一种名为 Bilateral Segmentation Network (BiSeNet V2) 的神经网络架构，通过将空间细节和分类语义分别处理来实现高效准确的实时语义分割，并使用 Detailed Branch 和 Semantic Branch 来分别处理低级和高级特征。

    Apr, 2020

  • 掩模关注掩模变换器用于通用图像分割

    提供一种新的架构 Mask2Former，该架构通过应用掩蔽注意力机制提取局部特征来解决多种类型的图像分割任务，包括全景分割、实体分割和语义分割，并且优于当前最佳的专门任务架构。

    Dec, 2021

  • 基于原型的高效 MaskFormer 图像分割方法

    最近基于 Transformer 的架构在图像分割领域取得了令人印象深刻的成果。为了填补传统架构在计算资源上的限制，本文提出了一种高效的基于原型的 Transformer 架构 (PEM)，它利用视觉特征的冗余性来限制计算并提高效率，同时引入了高效的多尺度特征金字塔网络，能够高效地提取具有高语义内容的特征。在两个不同的数据集上对 PEM 架构进行了测试和评估，表现出色，优于特定任务的架构，并且与计算代价较高的基准模型相媲美甚至更优。

    Feb, 2024

  • 重新思考 BiSeNet 实时语义分割

    提出了一种高效的 STDC 网络和 Detail Aggregation 模块，用于实时图像分割，通过在低级别层中学习空间信息，并将低级和深层特征融合以预测最终的分割结果，取得了较高的分割准确率和快速推理速度。

    Apr, 2021

  • SERNet-Former：利用注意力增强门和注意力融合网络的高效残差网络进行语义分割

    基于最近在语义分割中的成功和问题，该研究提出了一种具有高效残差网络的编码器 - 解码器架构，使用注意力增强门和模块来融合基于特征的语义信息与全局上下文，并在解码器部分部署附加的注意力融合网络以提高语义信息的一对一转换的效率。测试结果显示，该网络在 CamVid 数据集上达到了最先进的结果 (84.62% 平均 IoU)，在 Cityscapes 验证数据集上取得了具有挑战性的结果 (87.35% 平均 IoU)。

    Jan, 2024

  • 像素级分类不是语义分割所需的全部

    提出了基于掩膜分类模型的方法 MaskFormer，通过预测一组二进制掩膜，使语义分割和全景分割任务的解决变得统一，并在各项指标上实现了优秀的实验结果。

    Jul, 2021

  • 面向移动和 Web 应用的边界感知分割网络

    本文提出了一种基于边界感知的图像分割网络，它包含一个预测 - 优化的体系结构和一个混合损失函数，可用于高精度图像分割，并在显著对象分割和伪装对象分割等任务上展示了出色的性能。基于该网络，开发了 “AR COPY＆PASTE” 和 “OBJECT CUT” 两个商业应用，可供公众使用。

    Jan, 2021

  • OneFormer3D：统一点云分割的一种 Transformer

    本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

    Nov, 2023

  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021