Jan, 2021

面向移动和 Web 应用的边界感知分割网络

PDF
TL;DR本文提出了一种基于边界感知的图像分割网络，它包含一个预测 - 优化的体系结构和一个混合损失函数，可用于高精度图像分割，并在显著对象分割和伪装对象分割等任务上展示了出色的性能。基于该网络，开发了 “AR COPY＆PASTE” 和 “OBJECT CUT” 两个商业应用，可供公众使用。
boundary-aware segmentation networkpredict-refine architecturehybrid losssalient object segmentationreal-world applications
发现论文，激发创造
  • BasisNet：高效推理的两阶段模型合成

    本文提出了 BasisNet，它采用轻量级模型和两阶段模型合成策略，结合了高效神经网络体系结构、条件计算和早期终止，具有高效且精确的性能。在 ImageNet 分类基准测试中，使用 BasisNet 的 MobileNets 作为骨干网络，相比于其他基准测试，BasisNet-MobileNetV3 获得了显著的精度 - 效率平衡优势，仅需 290M 的乘加操作即可达到 80.3% 的 top-1 准确率，而且在不降低准确率的情况下，平均成本可进一步降低至 198M MAdds。

    May, 2021

  • BiSeNet: 双边分割网络用于实时语义分割

    本文提出了一种名为 Bilateral Segmentation Network（BiSeNet）的新型网络结构，通过引入 Spatial Path、Context Path 以及 Feature Fusion Module 三个模块，实现了在保持高分辨率的同时增加感受野，达到了在 Cityscapes、CamVid 和 COCO-Stuff 数据集上速度和分割性能相对平衡的效果，对于 2048x1024 的输入，我们在 Cityscapes 测试数据集上实现了 68.4％的平均 IOU，在 NVIDIA Titan XP 卡上的速度为 105 FPS，比现有方法更快，同时性能相当。

    Aug, 2018

  • BiSeNet V2：带有引导聚合的双边网络用于实时语义分割

    该研究提出了一种名为 Bilateral Segmentation Network (BiSeNet V2) 的神经网络架构，通过将空间细节和分类语义分别处理来实现高效准确的实时语义分割，并使用 Detailed Branch 和 Semantic Branch 来分别处理低级和高级特征。

    Apr, 2020

  • 边界感知实例分割

    该论文介绍了一种基于距离变换的对象段表示方法和基于残差解卷积结构的对象掩码网络，实现了跨越边界框的对象分割；并将其整合到一个多任务网络级联框架中，学习了最终二进制对象掩码。实验表明，这种方法在目标生成和实例分割方面优于现有的技术。

    Dec, 2016

  • BiSeNet 的复仇：高效的多任务图像分割

    提出了一种针对图像分割的高效多任务架构 BiSeNetFormer，能够在保持高效和准确性的同时处理多种分割任务，其结果表明 BiSeNetFormer 在模型效率和任务适应性之间构建了桥梁，具有快速、高效和多任务分割网络的显著进展。

    Apr, 2024

  • 更近距离观察以进行更好的分割：用于实例分割的边界补丁细化

    提出一种基于后处理细化的框架，名为 BPR，以改善任何实例分割模型的结果，该框架通过沿预测边界提取和细化一系列小的边界补丁来提高边界质量，在 Cityscapes 基准测试中比 Mask R-CNN 基线得到显著提升，特别是在边界感知度量方面；此外，通过将 BPR 框架应用于 PolyTransform + SegFix 基线，我们在 Cityscapes 排行榜上达到第一名。

    Apr, 2021

  • 无缝场景分割

    本研究提出了一种基于 CNN 的新型架构，可以进行端到端的训练，以提供无缝的场景分割结果。该网络结构采用了一种新颖的分割头，将由特征金字塔网络生成的多尺度特征与由轻量级 DeepLab 模块传递的上下文信息进行了无缝整合，从而预测一致的语义分割和检测结果。此外，研究人员还提出了一种替代 panoptic 度量的方法，克服了评估非实例类别时的局限性。通过在三个具有挑战性的街景数据集上测试，即 Cityscapes、Indian Driving Dataset 和 Mapillary Vistas，我们的网络架构取得了最先进的结果。

    May, 2019

  • 基于边界知识转换的参考语义分割

    本文提出了一种新型的参考语义分割网络（Ref-Net），结合了人类的视觉认知能力，采用参考目标特征和已有的开源数据集边界知识，通过参考分割模块和边界知识翻译模块，实现在只有几十个样本的有限监督下，较好地完成了多个数据集上的对象分割任务。

    Aug, 2021

  • 学习细化目标片段

    本文提出了一种利用自顶向下的细化方法增强前馈网络进行物体分割的方法，命名为 SharpMask。该方法构建在 DeepMask 网络的基础之上，不同于当前 skip connection 的输出方法，SharpMask 通过在前馈传递中首先输出一个粗糙的 “掩码编码”，然后再自顶向下利用不断降低的层面上的特征进一步细化这个编码，获得高保真的物体掩码，能够比 DeepMask 在多种环境中提高 10-20% 的平均召回率并且速度更快（每张图片不到 0.8 秒）。

    Mar, 2016

  • Mobile-Seed：移动机器人的联合语义分割和边界检测

    Mobile-Seed 是一个轻量级的双任务框架，旨在同时改进语义分割性能和准确定位物体边界。通过引入两个编码路径、主动融合解码器和双任务正则化方法，Mobile-Seed 能够动态适应语义和边界信息的融合，并通过正则化损失减轻双任务学习中的冲突。在 Cityscapes 数据集上的实验证明了 Mobile-Seed 相比现有方法，在 mIoU 和 mF-score 指标上分别提高了 2.2 和 4.2 个百分点，并在 RTX 2080 Ti GPU 上以每秒 23.9 帧的速度进行在线推理。该方法在 CamVid 和 PASCAL Context 数据集上的额外实验证实了其普适性。

    Nov, 2023