Jan, 2024

上下文感知交互网络用于 RGB-T 语义分割

PDF
TL;DRRGB-T 语义分割技术在自动驾驶场景理解中起着关键作用。本研究提出了一种用于 RGB-T 语义分割的上下文感知交互网络（CAINet），通过建立交互空间来利用辅助任务和全局上下文进行显式引导学习。通过引入上下文感知的互补推理模块、全局上下文建模模块和细节聚合模块，以及特定辅助监督，对多模态特征之间的互补关系进行建模，进一步提高分割效果。对 MFNet 和 PST900 两个基准数据集进行的大量实验表明，CAINet 能够达到最先进的性能。
rgb-t semantic segmentationautonomous driving scenescontext-aware interaction networkcontext-aware complementary reasoningglobal context modeling
发现论文，激发创造
  • 基于交互式上下文感知网络的 RGB-T 显著物体检测

    本文提出一种名为互动上下文感知网络（ICANet）的新型网络，它通过混合两种模态的特征来实现跨模态信息以及通过 Multi-Scale Attention Reinforcement（MSAR）和 Upper Fusion（UF）模块来进行跨尺度融合，从而提高了关键目标的检测准确性。

    Nov, 2022

  • GINet: 场景解析的图交互网络

    本文提出了图交互单元和语义上下文损失的方法，将语言学知识引入视觉图，增强上下文推断和刻画高层语义，最终在场景解析等任务上取得了优越的表现。

    Sep, 2020

  • 基于上下文聚合网络的实时语义分割

    该论文提出了一种上下文聚合网络，通过较低的计算成本实现了准确的图像场景分割，适用于自主系统及实时应用。

    Nov, 2020

  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • CGNet：一种用于语义分割的轻量级上下文引导网络

    本文提出一种轻量、高效的语义分割网路 —— 受上下文引导的网路（CGNet），其基于 CG 块学习局部特征和周围上下文的联合特征，并通过全局上下文进一步改善。CGNet 在所有网络阶段捕获上下文信息，特别地为了提高分割准确度而设计，并精心设计以减少参数数量和内存占用。实验表明，在等效参数数量下，所提出的 CGNet 在 Cityscapes 和 CamVid 数据集上显著优于现有的分割网络。

    Nov, 2018

  • CSFNet: 用于驾驶场景实时 RGB-X 语义分割的余弦相似度融合网络

    本研究提出了余弦相似度融合网络 (CSFNet) 作为实时的 RGB-X 语义分割模型，通过设计余弦相似度注意力融合模块 (CS-AFM) 在不同模态之间有效地整合和融合特征，提高了交叉模态特征在低层的融合，使得高层可以采用单支路网络，从而实现更快速和准确的预测，并在 RGB-D/T/P 语义分割任务中验证了其效果和高效性。

    Jul, 2024

  • 零样本语义分割的上下文感知特征生成

    本文提出了一种上下文感知特征生成方法，命名为 CaGNet，通过引入上下文模块来捕获像素级别的上下文信息，并从语义词嵌入中生成更丰富和上下文感知的特征，从而实现了零样本语义分割任务中的最先进结果。

    Aug, 2020

  • 动态上下文对应网络（DCN）用于语义对齐

    该论文提出了一种名为 DCCNet 的动态上下文对应网络，通过引入注意力机制，整合了多种语义线索，对计算机视觉中语义对应问题进行了改进，并在多个数据集上验证了该方法的有效性。

    Sep, 2019

  • CCNet：用于语义分割的交叉注意力

    提出使用 Criss-Cross 网络来获取图像的上下文信息，通过使用新的 Criss-Cross attention 模块，可以收集其交叉路径上所有像素的上下文信息，并且使用循环操作可以使每个像素最终捕获整个图像的依赖关系，并提出类别一致性损失以促进该模块产生更具有鉴别性的特征。CCNet 的优点有：1）GPU 内存友好性。与非本地块相比，所提出的循环 Criss-Cross attention 模块需要 11 倍的 GPU 内存使用。2）高计算效率。循环 Criss-Cross attention 可以将 FLOPs 显著减少约 85%。3）达到了最先进的性能， 在语义分割基准测试包括 Cityscapes，ADE20K，人体解析基准测试 LIP，实例分割基准测试 COCO，视频分割基准 CamVid 上都经过了广泛的实验，我们的 CCNet 特别是在 Cityscapes 测试集上获得了 mIoU 分数为 81.9％的新的最先进结果，ADE20K 验证集和 LIP 验证集分别是 45.76％和 55.47％。

    Nov, 2018

  • GCA-Net：利用门控上下文注意力提升图像篡改定位和检测效果

    本论文提出一种新颖的门控上下文注意网络（GCA-Net），使用非局部注意机制和门控机制捕捉图像不一致特征，以更好地识别图像中伪造的区域。经过标准图像取证测试，该方法相对于最先进的网络平均值提高了 4.7% 的 AUC，并且对归因具有鲁棒性，并且对误报具有抗性。

    Dec, 2021