无忘记先验知识的目标检测适应模态转换

Apr, 2024

无忘记先验知识的目标检测适应模态转换

Modality Translation for Object Detection Adaptation Without Forgetting Prior Knowledge

Heitor Rapela Medeiros, Masih Aminbeidokhti, Fidel Guerrero Pena, David Latortue, Eric Granger...

TL;DR通过训练小型的转换网络直接减小检测损失，该论文提出了一种新的方法 ModTr，用于将大型目标检测模型适应于一个或多个不同模态数据，从而实现更加灵活和高效的服务式检测流水线。

Abstract

A common practice in deep learning consists of training large neural networks on massive datasets to perform accurately for different domains and tasks. While this methodology may work well in numerous application areas, it only applies across modalities due to a larger distribution sh

deep learning modality adaptation object detection translation network fine-tuning

发现论文，激发创造

HalluciDet：通过特权信息对人员检测进行 RGB 模态的幻觉

通过提出 HalluciDet，一种 IR-RGB 图像翻译模型，将重点放在对象检测的准确性上，而不是重构 IR 模态下的原始图像，从而绕过了访问 RGB 数据的需求，从而提高了检测性能。

Oct, 2023

MDETR -- 基于调制的端到端多模态理解检测

该研究提出了基于 transformer-based 的 MDETR 多模态推理系统，能够从图像中提取物体并进行相关性文本推理，实验表明在对象检测、自然语言问题回答等任务中均获得了最佳表现。

Apr, 2021

多模态追踪的双向适配器

通过引入多模态图像以弥补单一成像传感器的限制，我们提出了一种基于通用双向适配器的新型多模态视觉提示跟踪模型，通过交互式互补多模态信息，实现了优良的跟踪性能。

Dec, 2023

MAC：物体检测中的模态校准

利用 ModAlity Calibration (MAC) 技术，我们在 RGB-input 模型的基础上校准目标模态输入，通过使用先前知识和零手动注释的配对数据，我们的目标模态模型在指标上达到了可比较或更好的表现。

Oct, 2023

一阶段模态蒸馏用于不完整多模态学习

基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在 RGB-D 分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

Sep, 2023

多模态变换器实现无类别物体检测

本文提出使用多模态视觉变换器结合图像 - 文本对进行目标检测，证明了该方法可有效地提高跨领域和新颖目标的性能，并开发了一个高效的 MViT 体系结构，具有多尺度特征处理和多语言融合功能。

Nov, 2021

DeepInteraction: 通过模态交互进行 3D 物体检测

本文提出一种新的模态交互策略，采用 DeepInteraction 结构对多模态特征进行交互和预测，此方法在大规模 nuScenes 数据集上取得比之前所有技术更好的结果，并跻身 nuScenes 目标检测榜首。

Aug, 2022

无监督多模式图像配准的几何保持图像到图像翻译

本研究提出一种利用图像到图像翻译网络训练形态转换网络的多模态配准方法，通过单模态指标对图像进行训练，无需对齐模态对即可进行训练，适用于多种模态，实验结果表明该方法高度准确。

Mar, 2020

用 Transformer 进行的多目标追踪的对比学习

通过引入实例级对比损失、修订的采样策略和轻量级分配方法，我们展示了如何将 DETR 转化为 MOT 模型，学习目标的外观并保留检测能力，其性能在具有挑战性的 BDD100K 数据集上超过了先前的最新技术水平 2.6 mMOTA，并在 MOT17 数据集上与现有的基于 transformer 的方法相媲美。

Nov, 2023

基于 RGB-D 的场景识别翻译 - 识别网络

该研究提出了一种新的模态间转移识别网络 TRecgNet，利用编码器网络共享任务，采用半监督方式利用未标记的数据进行训练，进一步提高了识别网络的准确性。实验证明，TRecgNet 在 RGB-D 场景识别方面的表现具有优越性。

Apr, 2019