IJCAIMay, 2023

联合多模态图像融合及其它应用的二层动态学习

PDF
TL;DR本文描述了一种层次双任务驱动的深度模型，用于多模态场景感知，包括图像融合和场景理解。该模型不仅能够产生视觉良好的融合结果，而且比现有技术实现了显著的检测和分割优势。
multi-modality scene perceptionimage fusionhierarchical dual tasks-driven deep modeldiscriminatorsemantic network
发现论文，激发创造
  • 多任务视觉感知的动态特征交互框架

    本研究提出了一种高效的统一框架 D2BNet，该框架可以同时解决多个常见的感知任务，如实例分割、语义分割、单目 3D 检测和深度估计，并在 nuScenes 和 Cityscapes 等数据集中实现了与以往作品相当的结果和最佳结果。

    Jun, 2023

  • FULLER: 统一的多模态多任务三维感知通过多级梯度校准

    多模态融合与多任务学习在三维自动驾驶场景中变得流行，然而，将现有框架扩展到多模态多任务学习领域仍然是无效的甚至有害的，由于恶名昭彰的模态偏差和任务冲突。本研究提出了一个新颖而简单的多层梯度校准学习框架，通过任务和模态之间的优化在任务和模态之间进行优化。实验证明了该方法的有效性。

    Jul, 2023

  • 多交互特征学习和全时多模态图像融合与分割基准

    提出了一种用于图像融合和分割的多交互特征学习架构，名为 SegMiF，利用双任务相关性促进两个任务的性能表现。

    Aug, 2023

  • 通过投影网络对具有异构维度的数据进行深度多模态融合

    本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

    Feb, 2024

  • 动态多模态融合

    本文提出了一种动态多模态融合的方法，可以在预测过程中根据数据的不同需求自适应地融合多模态数据，从而有效地减少计算成本，并在多个多模态任务上获得了良好的效果，这为动态多模态网络设计开辟了一条新的方向。

    Mar, 2022

  • 预测动态融合

    提出了一种用于多模态学习的预测动态融合（PDF）框架，通过从泛化角度揭示多模态融合，理论上推导出可预测的合作信念（Co-Belief）与单一和整体置信的关系，并进一步提出相对校准策略以校准潜在的不确定性，通过在多个基准测试上的大量实验证实了其优越性。

    Jun, 2024

  • 使用不对称多层融合学习深层次多模态特征表示

    本文介绍了一种有效的多模态特征融合框架，其中采用了两种创新的融合方案，可在一个共享的单一网络中学习多模态特征，并引入两个非对称融合操作，以增强跨通道的多模态特征交互并增强通道内的空间特征区分能力。实验结果表明，本文提出的框架在语义分割和图像翻译任务中表现优异。

    Aug, 2021

  • 一种任务引导的、隐式搜索的、元初始化的深度模型用于图像融合

    本研究提出了一种基于 TIM 深度模型的图像融合方法，采用下游任务引导和隐式搜索机制来提高图像质量和视觉感知，并在不同类型的图像融合问题和相关下游任务上得到了很好的实验结果。

    May, 2023

  • 针对目标的双重对抗学习及用于融合红外和可见光进行目标检测的多场景多模态基准

    本文提出了一种基于双层优化的目标感知对抗学习（TarDAL）用于融合热红外和可见光图像的网络，结合了两者的共性和差异，同时建立了一套同时采集红外和光学图像的标定传感器，实现了对不同场景的目标检测并获得了较高性能。

    Mar, 2022

  • 从文本到像素：一种针对红外和可见光图像融合的上下文感知语义协同解决方案

    本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

    Dec, 2023