May, 2023

通过挖掘跨模态语义实现目标分割

PDF
TL;DR利用跨模态语义指导多模态特征的融合和解码，提出了一种新的方法以控制相对熵，具有共享和特定的表示法以及跨层自我监督，并基于质量适应模态贡献的 all-round attentive fusion 和 course-to-fine decoder 两部分解码器，提高特征可辨别性和系统的表现。
object segmentationmulti-sensorcross-modal semanticsaf blockcfd
发现论文，激发创造
  • 多模态语义分割的自监督模型适应

    提出了一种自适应动态融合多模态语义分割框架，采用自监督模型的融合机制来优化融合多模态特征，在物体类别、空间位置和场景上下文方面增强鲁棒性，同时提出了一种计算高效的 AdapNet ++ 单模分割体系结构，并获得了最新的性能。

    Aug, 2018

  • 挖掘跨图像语义进行弱监督语义分割

    该论文研究了只从图像级别监督中学习语义分割的问题，引入了两个神经协同注意力机制来补充地捕捉跨图像的语义相似性和差异性，提高了物体模式学习和语义分割的性能，并在不同的 WSSS 设置下实现了最先进的性能。

    Jul, 2020

  • 多模态语义理解与对比跨模态特征对齐

    本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

    Mar, 2024

  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • 用于指涉图像分割的跨模态自注意力网络

    本文提出了一种跨模态自注意模块 (CMSA)，可以有效地捕捉语言和视觉特征之间的长距离依赖关系，并且采用门控多层融合模块，以选择性地集成不同级别的特征。在多个数据集上的验证表明，我们的方法在图像分割任务上显著优于现有的最先进的方法。

    Apr, 2019

  • 基于局部到全局的跨模态注意力融合方法用于 HSI-X 语义分割

    本研究提出了一种用于高光谱图像和 X 模态图像分类的 Local-to-Global Cross-modal Attention-aware Fusion (LoGoCAF) 框架，通过像素级的两分支语义分割架构从两种模态中学习信息并进行特征融合和预测，实现了优秀的性能和普适性。

    Jun, 2024

  • Mx2M: 三维语义分割领域自适应中的跨模态建模

    现有的跨模态域自适应方法在三维语义分割中仅通过跨模态特征匹配预测结果的 2D-3D 补充性，然而，在目标领域缺乏监督的情况下，这种补充性并不总是可靠的。我们为解决缺乏监督的问题，将蒙版建模引入该任务，并提出了一种名为 Mx2M 的方法，该方法利用蒙版的跨模态建模来减小域间差距。我们的 Mx2M 包含两个组成部分。一个是核心解决方案，即跨模态去除和预测（xMRP），它使得 Mx2M 适应各种情景并提供跨模态自监督。另一个是一种新的跨模态特征匹配方式，即动态跨模态滤波器（DxMF），它确保整个方法动态地使用更合适的 2D-3D 补充性。在包括白天 / 夜晚、美国 / 新加坡和 A2D2/SemanticKITTI 在内的三个跨模态自适应场景上，对 Mx2M 的评估在许多指标上取得了显著的改进。

    Jul, 2023

  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • CMFN: 跨模态融合网络用于不规则场景文字识别

    提出了一种新颖的交叉模态融合网络（CMFN），用于不规则场景文本识别，将视觉线索融入语义挖掘过程中，实验证明该算法在性能上与最先进的算法相当，验证了其有效性。

    Jan, 2024

  • CMX: 基于 Transformer 的 RGB-X 语义分割的跨模态融合

    本文提出了一种基于转换器的跨模态融合框架 CMX，用于针对自主车辆的 RGB-X 语义分割，结果表明 CMX 可以推广到不同的感知模态，并实现在多个基准数据集上的最新技术性能。

    Mar, 2022