SCTNet：用于实时分割的单分支 CNN 与 Transformer 语义信息

AAAIDec, 2023

SCTNet：用于实时分割的单分支 CNN 与 Transformer 语义信息

SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation

Zhengze Xu, Dongyue Wu, Changqian Yu, Xiangxiang Chu, Nong Sang...

TL;DRSCTNet 是一种采用变换器语义信息的单分支卷积神经网络，用于实时分割任务，并在 Cityscapes、ADE20K 和 COCO-Stuff-10K 数据集上展现出最新的最先进性能。

Abstract

Recent real-time semantic segmentation methods usually adopt an additional semantic branch to pursue rich long-range context. However, the additional branch incurs undesirable computational overhead and slows inference speed. To eliminate this dilemma, we propose →

real-time semantic segmentation sctnet transformer cnn state-of-the-art performance

发现论文，激发创造

SCTransNet：红外小目标检测的空间 - 通道交叉变换网络

提出了一种基于空间通道交叉变换器网络（SCTransNet）的红外小目标检测方法，利用跨通道变换器块（SCTBs）以及长程跳跃连接来加强目标和背景之间的语义差异，有效地检测小尺度的红外目标。

Jan, 2024

从序列到序列的角度重新思考使用 Transformers 进行语义分割

本文提出了一种新的语义分割方法，使用纯 Transformer 编码图像为序列的方式，通过全局上下文模型和一个简单的解码器生成强大的分割模型，称为 SETR，取得多项最新的测试结果。

Dec, 2020

CiT-Net: 卷积神经网络和视觉 Transformer 手牵手进行医学图像分割

本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和 Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能，以实现更好的医学图像分割结果。

Jun, 2023

Fast-SCNN: 快速语义分割网络

本文介绍了一种快速分割卷积神经网络（Fast-SCNN），它是一种高分辨率图像数据（1024x2048px）的半实时语义分割模型，适用于在低内存嵌入式设备上进行高效计算。该网络通过在多个分辨率分支上同时计算低级特征和高级特征，实现了高分辨率的空间细节与更低分辨率下提取的深度特征的结合，并在 Cityscapes 数据集上以每秒 123.5 帧的速度获得了 68.0％的平均交并比准确率。实验证明，预先培训规模的大规模预处理是不必要的。

Feb, 2019

TEC-Net: 视觉 Transformer 集成卷积神经网络用于医学图像分割

本研究采用混合卷积神经网络和 Transformer 的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

Jun, 2023

重新思考 BiSeNet 实时语义分割

提出了一种高效的 STDC 网络和 Detail Aggregation 模块，用于实时图像分割，通过在低级别层中学习空间信息，并将低级和深层特征融合以预测最终的分割结果，取得了较高的分割准确率和快速推理速度。

Apr, 2021

ContextNet：探索上下文及细节用于实时语义分割

ContextNet 提出了一种新的深度神经网络架构，利用分解卷积、网络压缩和金字塔表示等技术，实现了高效的全局上下文信息提取和高分辨率分割细节捕捉，从而在保持精度的前提下，降低了内存需求，实现了具备实时性和低存储成本的语义分割。

May, 2018

ICNet 用于高分辨率图像的实时语义分割

本文提出了一种基于图像级联网络 (ICNet) 的实时语义分割方法，通过多分辨率分支和级联特征融合单元，以及恰当的标签引导来降低像素级标签推断的计算量，从而实现对挑战性数据集（如 Cityscapes，CamVid 和 COCO-Stuff）的高质量实时分割。

Apr, 2017

基于混合卷积 - 变换器架构搜索的实时图像分割

通过使用多头自注意力结构，结合架构搜索方法，本研究提出了一种高效且有效的高分辨率图像分割神经网络架构，名为 HyCTAS，通过在多个分辨率的分支之间融合轻量级卷积层和内存高效的自注意力层，提高了语义分割任务的性能。

Mar, 2024

S3Net：用于卫星极线影像的单分支语义立体网络的立体匹配和语义分割创新

提出了一种名为 Single-branch Semantic Stereo Network（S3Net）的解决方案，通过自我融合和互相融合模块创新性地将语义分割和立体匹配相结合，从而更准确地理解语义信息和视差估计。在 US3D 数据集上的比较测试证实了 S3Net 的有效性，相比现有竞争方法，我们的模型将语义分割的平均交并比（mIoU）从 61.38 提升至 67.39，将立体匹配的 D1 误差和平均端点误差（EPE）从 10.051 降低至 9.579 和从 1.439 降低至 1.403。

Jan, 2024