RXFOOD：面向感兴趣目标检测的插件化 RGB-X 融合

Jun, 2023

RXFOOD：面向感兴趣目标检测的插件化 RGB-X 融合

RXFOOD: Plug-in RGB-X Fusion for Object of Interest Detection

Jin Ma, Jinlong Li, Qing Guo, Tianyun Zhang, Yuewei Lin...

TL;DR该文章提出了 RXFOOD 方法，利用能量交换模块实现不同分支以及不同尺度之间的特征融合，提升 object detection 的效果。经实验证明，该方法对 RGB-NIR 融合、RGB-D 融合及 RGBFrequency 图像操作检测均具有明显的有效性。

Abstract

The emergence of different sensors (Near-Infrared, Depth, etc.) is a remedy for the limited application scenarios of traditional RGB camera. The RGB-X tasks, which rely on RGB input and another type of data input to resolve specific problems, have become a popular research topic in multimedia. A crucial part in two-branch RGB-X deep neural networks is how to

rgb-x tasks multi-modal fusion deep neural network rxfood method object detection

发现论文，激发创造

基于场景特定融合模块的 RGB-X 物体检测

多模式深度传感器融合为自动驾驶车辆在各种天气条件下实现视觉理解提供了潜力，本研究提出了一种高效、模块化的 RGB-X 融合网络，通过场景特定的融合模块，实现了利用预训练的单模态模型进行融合，从而使用小型、核心配准的多模态数据集创建联合输入自适应的网络架构，在 RGB - 热成像和 RGB - 门控数据集上表现出了优越性，仅使用少量额外的参数进行融合。

Oct, 2023

RGB-D 物体识别的循环卷积融合

本文提出了一种称为循环卷积融合（RCFusion）的新型 RGB-D 物体识别端到端架构，能够通过组合互补的 RGB 和深度信息表示不同抽象层次的信息来生成紧凑且高度可区分的多模态特征，并在两个流行数据集上的实验中，优于现有的最先进方法。

Jun, 2018

X 模态辅助 RGBT 目标跟踪

通过解耦可视目标跟踪为三个不同层次的组成部分，我们提出了一种名为 X-Net 的新型模态协助网络，用于学习鲁棒的多模态特征表示，解决 RGB 和热模态之间巨大差异带来的特征学习障碍，并改善跟踪性能。

Dec, 2023

去除与选择：通过粗糙到细化融合改进 RGB - 红外目标检测

本文介绍了一种新的粗到细的特征融合策略，利用 RGB 和红外图像的互补特性，通过去除冗余光谱和动态特征选择，提高了目标检测的性能。通过构建名为 RSDet 的新型目标检测器，并在三个 RGB-IR 目标检测数据集上进行广泛实验，验证了我们方法的优越性能。

Jan, 2024

光学和场景流的注意力多模态融合

通过使用深度神经网络，并在不同的网络级别中应用自注意力机制以及交叉注意力机制，我们提出了一种名为 FusionRAFT 的方法，实现了早期传感器模态（RGB 和深度）之间的信息融合，以解决 RGB 信息不可靠的问题，在主动配准中取得了比最近方法更好的性能。

Jul, 2023

CMX: 基于 Transformer 的 RGB-X 语义分割的跨模态融合

本文提出了一种基于转换器的跨模态融合框架 CMX，用于针对自主车辆的 RGB-X 语义分割，结果表明 CMX 可以推广到不同的感知模态，并实现在多个基准数据集上的最新技术性能。

Mar, 2022

RGB-D 显著目标检测的自适应融合

本文提出了一种自适应融合方案，通过两个卷积神经网络中提取的特征和预测的显著性地图，学习一个切换显著性地图的开关来自适应地融合 RGB 和深度模态中所生成的显著性预测。为了实现全监督，利用显著性监督、开关映射监督和边缘保留约束来设计了一个损失函数，并通过端到端训练方式训练整个网络。经过自适应融合策略和边缘保留约束的好处，我们的方法在三个公开数据集上优于已有方法。

Jan, 2019

基于 CNN 的 RGB-D 显著目标检测：学习、选择和融合

该论文旨在提出一个系统性的解决方案来解决 RGB-D 突出物检测问题，该方案通过模态特定表示学习、互补线索选择和跨模态补充融合等三个方面进行统一的处理，并构建了一种自适应的残差函数来融合跨模态信息以实现足够的跨模态交互和跨层传输支持。

Sep, 2019

使用 RGB-D 融合在 DiffusionDet 框架中增强的汽车物体检测

一项基于视觉的自动驾驶需要可靠高效的对象检测的研究提出了一种 DiffusionDet 框架，该框架利用单目相机和深度传感器的数据融合来提供 RGB 和深度（RGB-D）数据，并通过在训练阶段随机重塑基准边界框，使模型学习噪声加入的相反扩散过程。通过将 RGB 图像的纹理和颜色特征与 LiDAR 传感器的空间深度信息结合起来，所提出的框架采用了特征融合，从而大大提高了汽车目标的对象检测能力。在 KITTI 数据集上进行的全面实验取得了 2.3 的 AP 增益，特别是在检测小物体方面展示了所提出方法的改进性能。

Jun, 2024

跨模式目标跟踪通过模态感知融合网络和大规模数据集

提出了一种自适应跨模态目标跟踪算法 Modality-Aware Fusion Network（MAFNet），它通过自适应加权机制有效地整合 RGB 和近红外模态的信息，弥合了外观差距，实现了模态感知的目标表示。

Dec, 2023