Sep, 2023

高效语义分割的超像素变换器

PDF
TL;DR通过使用超像素与现代 Transformer 框架相结合，本研究提出一种能在语义分割领域获得最先进性能的方法，通过学习将像素空间分解为低维超像素空间，并运用多头自注意力机制来丰富超像素特征以获得全局上下文信息，最终实现了更高的计算效率和模型性能。
semantic segmentationsuperpixelstransformer frameworkglobal contextcomputational efficiency
发现论文，激发创造
  • 利用卷积神经网络结合超像素的多层语境执行自然场景标注

    本研究采用基于超像素的语义分割，考虑三种不同级别的邻域上下文，采用最大投票和加权平均等集成方法，利用 Dempster-Shafer 理论分析各类别之间的混淆，并在相同数据集上证明我们的方法优于其他现代方法。

    Mar, 2018

  • 基于完全卷积网络的超像素分割

    本文提出了一种使用简单的全卷积网络预测超像素的新方法，以及在此基础上进行稠密预测任务下采样 / 上采样方案的改进，实验结果表明该方法能够在 50fps 的速度下取得最先进的超像素分割性能，并且在公共数据集上能够获得更好的视差估计精度。

    Mar, 2020

  • 基于超像素的统计过程控制训练的语义分割

    通过基于超像素采样的方法和使用统计过程控制的梯度来训练和测试，该论文提出了一种在 Pascal Context，SUN-RGBD 数据集上性能优于或等于传统方法的语义分割网络，减少了上采样运算的复杂度。

    Jun, 2017

  • SPFormer：使用超像素表示增强视觉 Transformer

    SPFormer 是一种新颖的视觉变换器，增强了超像素表示，通过对图像内容进行自适应划分，有效捕捉了复杂的细节，并在各种基准测试中表现出优异性能。其独特的可解释性结构提供了对模型内部过程的洞察，显著提高了 SPFormer 的稳健性。

    Jan, 2024

  • 像素级聚类网络用于无监督图像分割

    本文提出了一个像素级聚类框架，用于将图像分割成区域，而无需使用地面真值标注。该框架包括特征嵌入模块、特征统计计算模块、图像重建和超像素分割，以实现准确的无监督分割。此外，我们提出了一种训练策略，利用每个超像素内部一致性、相邻超像素间的相似性 / 差异性和图像结构相似性。我们还提出了一种后处理方法，以避免由基于超像素的损失引起的过分分割。最后，我们扩展了所提方法用于无监督语义分割。通过在三个公开数据集上进行实验，我们证明了所提框架的有效性。实验结果表明，所提框架优于先前的最先进方法。

    Oct, 2023

  • 全局反卷积网络用于语义分割

    本文提出了一种新型架构，用于全局地等效进行反卷积操作并获取密集预测进而解决卷积神经网络在语义图像分割任务中的两个独特挑战，即低分辨率输出与局部特征提取中的全局信息不足。实验结果表明，在 PASCAL VOC 2012 基准测试中，本文方法取得了 74.0% 的平均 IU 准确率，优于当前最先进的语义分割模型。

    Feb, 2016

  • 超点 Transformer 实现高效三维语义分割

    本篇论文介绍一种新的基于超像素点的变压器架构，用于高效地语义分割大规模 3D 场景。

    Jun, 2023

  • 语义分割的 Transformer 分割器

    本文提出了 Segmenter，一种用于语义分割的 Transformer 模型，利用一种点刀线性解码器或一个 mask transformer 解码器将图像分割为不同的类别，通过对模型参数的分析，表明 Segmenter 在 ADE20K 和 Pascal Context 数据集上具有良好的性能。

    May, 2021

  • 一个轻量级聚类框架用于无监督语义分割

    我们提出了一个用于无监督语义分割的轻量级聚类框架，基于自监督视觉变换器的注意特征，通过将这些特征聚类成少量的聚类中心，我们能够将前景和背景的图像补丁分开成不同的组。我们的框架在无监督语义分割方面展示了很大的潜力，并在 PASCAL VOC 和 MS COCO 数据集上取得了最新的成果。

    Nov, 2023

  • 局部到全局的视觉 Transformer 自注意力

    本研究提出了多通路结构的 Transformer 模型，实现局部到全局的多粒度特征推理，相较于现有的分层设计模型，在增加了极小的计算量的同时，在图像分类和语义分割任务上取得了显著的提高。

    Jul, 2021