Apr, 2020

使用迭代金字塔上下文实现联合语义分割和边界检测

PDF
TL;DR本文提出了一种联合多任务学习框架，利用迭代金字塔上下文模块（PCM）耦合两个任务来实现语义分割和边界检测，并引入了新的空间梯度融合技术来处理非语义边缘。通过实验证明，该框架不仅在语义分割方面表现出比其他同类方法更优异的性能，还可以有效改善语义分割过程中的边界像素精度。
发现论文，激发创造
  • Mobile-Seed：移动机器人的联合语义分割和边界检测

    Mobile-Seed 是一个轻量级的双任务框架，旨在同时改进语义分割性能和准确定位物体边界。通过引入两个编码路径、主动融合解码器和双任务正则化方法，Mobile-Seed 能够动态适应语义和边界信息的融合，并通过正则化损失减轻双任务学习中的冲突。在 Cityscapes 数据集上的实验证明了 Mobile-Seed 相比现有方法，在 mIoU 和 mF-score 指标上分别提高了 2.2 和 4.2 个百分点，并在 RTX 2080 Ti GPU 上以每秒 23.9 帧的速度进行在线推理。该方法在 CamVid 和 PASCAL Context 数据集上的额外实验证实了其普适性。

    Nov, 2023

  • 基于金字塔结构的高效统一 Transformer 语义分割模型

    本文提出了一种统一的框架（UN-EPT）来解决复杂场景中的语义分割问题，该框架综合考虑了上下文信息和边界伪影。该模型采用了稀疏采样策略来提高上下文建模的效率，并引入了单独的空间分支来捕捉图像细节，整个模型可以端到端地训练。该方法在三个常用的语义分割数据集上表现出优秀的性能，并具有较低的内存占用。

    Jul, 2021

  • 边缘分类：边界检测改善语义图像分割

    通过结合语义分割和语义感知边缘检测，将类边界显式地融入模型，有效地解决了深网络在学习上下文信息时对高频细节的模糊化问题，从而显著地提高了基于卷积神经网络的语义分割准确度，该方法也在 ISPRS Vaihingen 基准测试中取得了超过 90% 的总体准确率。

    Dec, 2016

  • 深层结构模型语义分割的高效分段训练

    本文提出了一种改进图像语义分割性能的方法，通过使用上下文信息学习 Patch-Patch 和 Patch-Background 的语义相关性，使用带有条件随机场的 CNN 对邻近 patch 之间的语义相关性进行建模，并采用高效的分段训练方法。同时，通过使用传统的多尺度图片输入和滑动金字塔池化等手段捕捉图像区域与背景的上下文信息，结果在多种流行的语义分割数据集上取得了最先进的性能，并在 PASCAL VOC 2012 数据集上取得了 78.0 的交叉联合分数。

    Apr, 2015

  • 面向点云语义分割的边界感知几何编码

    本文提供了一种新的方法，通过 Boundary Prediction Module（BPM）和 Boundary-aware Geometric Encoding Module（GEM）对二维和三维图像分割，对边界信息进行处理，在局部区域中对信息进行编码，从而避免相同类别的局部特征互相污染，并且引入了 light-weight Geometric Convolution Operation (GCO) 来提供更多几何信息，实验证明其性能达到了最先进水平。

    Jan, 2021

  • 语义边界辅助的语义分割

    本文提出了 Semantic Boundary Conditioned Backbone (SBCB) 框架，该框架是一种简单而有效的训练框架，旨在提高分割性能，尤其是在边界周围，可用于改善各种流行分割头和骨干网络。

    Apr, 2023

  • 使用深度结构模型探索上下文语义分割

    本文研究深度学习在语义分割中的应用，通过引入 “区域 - 区域” 和 “区域 - 背景” 上下文信息，结合 CNN 和 CRF 模型来建立深度结构模型，实现图像区域与区域之间的语义关联性建模。采用高效的 piecewise 训练方法，克服 CRF 推理开销大的问题，同时引入多尺度训练和滑动金字塔保证对背景信息的适当捕捉，通过对 NYUDv2, PASCAL-VOC2012, Cityscapes, PASCAL-Context, SUN-RGBD, SIFT-flow 和 KITTI 数据集的全面评估，证明该方法在语义分割领域达到了最先进的水平。

    Mar, 2016

  • 基于空间融合网络的实时语义分割

    本文提出了一种高效的 CNN 方法 ——MSFNet，它利用类边界监督和多特征融合模块来实现实时语义分割，并在 Cityscapes 和 Camvid 数据集上得到了比现有方法更好的结果。

    Nov, 2019

  • IMENet: 迭代互相增强的联合三维语义场景补全和二维语义分割

    本文提出了一种 Iterative Mutual Enhancement Network (IMENet)，能够联合处理 3D 语义场景完成和 2D 语义分割任务，通过两个精细化模块 Deformable Context Pyramid 和 Deformable Depth Attention，在两个任务的高级特征上进行交互迭代优化融合，提高了模型在 NYU 和 NYUCAD 数据集上的泛化能力与模型性能。

    Jun, 2021

  • 无缝场景分割

    本研究提出了一种基于 CNN 的新型架构，可以进行端到端的训练，以提供无缝的场景分割结果。该网络结构采用了一种新颖的分割头，将由特征金字塔网络生成的多尺度特征与由轻量级 DeepLab 模块传递的上下文信息进行了无缝整合，从而预测一致的语义分割和检测结果。此外，研究人员还提出了一种替代 panoptic 度量的方法，克服了评估非实例类别时的局限性。通过在三个具有挑战性的街景数据集上测试，即 Cityscapes、Indian Driving Dataset 和 Mapillary Vistas，我们的网络架构取得了最先进的结果。

    May, 2019