无需注册的混合学习增强简单多模式成像系统用于高质量融合检测

Jul, 2023

无需注册的混合学习增强简单多模式成像系统用于高质量融合检测

Registration-Free Hybrid Learning Empowers Simple Multimodal Imaging System for High-quality Fusion Detection

Yinghan Guan, Haoran Dai, Zekuan Yu, Shouyu Wang, Yuanjie Gu

TL;DR我们提出了一种 CNN-Transformer 混合学习框架（称为 IA-VFDnet），其中包括统一的高质量多模态特征匹配模块（AKM）和融合模块（WDAF），可以应用于烟雾和野火检测，并通过对 M3FD 数据集的实验证明了其在传统注册条件下的最佳检测性能。此外，此论文还公开提供了第一个未注册的多模态烟雾和野火检测基准。

Abstract

multimodal fusion detection always places high demands on the imaging system and image pre-processing, while either a high-quality pre-registration system or image registration processing is costly. Unfortunately

multimodal fusion detection image pre-processing multimodal feature matching cnn-transformer hybrid learning framework smoke and wildfire detection

发现论文，激发创造

BusReF: 一套特征集中焦点于可重构区域的红外 - 可见光图像配准与融合

该论文提出了一种名为 BusRef 的单一框架，解决了多模态相机工作时的图像配准和融合问题，同时引入了一种新的训练和评估策略，通过使用蒙版减少无法重构区域对损失函数的影响，大大提高了融合任务的准确性和鲁棒性，通过梯度感知的融合网络进一步提高了算法的性能。

Dec, 2023

多模态图像配准的弱监督卷积神经网络

本文提出了一种基于卷积神经网络的方法，借助高水平结构对应信息（即解剖标记）推测像素变化，从而实现多模态图像对齐。结果表明，该方法具有广泛的适用性，可在训练过程中利用各种不同类型的解剖标记，并能实现实时自动化、无需标记或初始化的三维图像对齐。

Jul, 2018

高效多模态同步融合检测

对于自主驾驶来说，多模态图像融合和目标检测起着至关重要的作用。然而，目前的联合学习方法在融合检测任务中取得了显著进展，但繁琐的训练步骤限制了其在更广泛的实际工业部署中的应用。为了解决这个问题，我们提出了一种新的端到端多模态融合检测算法 EfficientMFD，使模型在只进行一次训练步骤后就能展现出良好的性能。通过两个组件之间的同步联合优化，不受各个任务的局部最优解的影响。此外，在共享参数的梯度矩阵之间建立了综合的优化，在融合检测权重下可以收敛到最优点。我们在多个公开数据集上进行了广泛的测试，不仅展现出在视觉上令人满意的融合效果，还在检测性能上表现出优于其他最新方法的优势（例如，6.6% 的 mAP50:95）。

Mar, 2024

用于多模式图像配准的对抗单模态和多模态流网络

提出一种新颖的基于翻译的无监督可变形图像配准方法，该方法利用双流方式调节变形场以实现更好的配准性能，并使用计算效率高的相似度度量对多模态配准网络进行有效训练，并在两个临床数据集上验证了其优越性能。

Jul, 2020

三维物体检测的同质多模态特征融合与交互

本研究提出了一种基于均质结构和自注意力机制的多模态特征融合和交互方法，通过将相机特征转换为 LiDAR 3D 空间，在避免项目信息丢失的同时增强了在复杂背景下的鉴别能力，在 KITTI 基准中超越了所有已发表的算法。

Oct, 2022

使用一阶渐进密集配准改进不对齐的多模态图像融合

通过一阶优化，采用跨模态多尺度渐进稠密注册方案改进多模态图像融合性能，通过密集变形场聚合和渐进特征细化来准确估计最终的变形场，并结合 Transformer-Conv-based Fusion 子网络捕捉注册红外和可见图像的信息，实现高质量融合图像的生成。

Aug, 2023

三维医学图像融合与可变形交叉注意力

创新的无监督特征互学习融合网络用于融合三维磁共振成像（MRI）和正电子发射断层成像（PET）图像，提高医生和研究人员的信息获取能力，并在性能度量方面优于传统二维图像融合方法。

Oct, 2023

多视图自适应融合网络用于三维物体检测

本文提出了一种基于多视角融合的 3D 目标检测网络，结合了激光雷达鸟瞰视角、激光雷达距离视角和相机视角图像，使用注意力机制和额外任务优化点特征和结构信息，有效地实现了多视角特征的适应性融合，该网络在 KITTI 3D 目标检测数据集上的表现令人满意。

Nov, 2020

跨模态图像生成与配准的非监督不对准红外与可见光图像融合

本文提出了一种基于生成和配准的深度学习方法，用于无监督热红外图像和可见光图像的融合，通过生成伪红外图像并使用多级配准网络实现图像配准，在特征交互融合模块中，对所选择的特征进行融合，以提高融合质量和鲁棒性。

May, 2022

基于标签驱动的弱监督学习用于多模态变形图像配准

采用标签驱动式表达，利用卷积神经网络的密集位移场，通过最小化变形移动标签和固定标签的交叉熵函数，使医学图像的标志物在不同模态之间匹配，改进了医学图像的对齐性。

Nov, 2017