May, 2023

FusionBooster: 一种统一的图像融合增强范式

HTML
PDF
TL;DR本文提出 FusionBooster 方法，它基于信息探针控制分治策略，通过三个构件分别实现了对源图像进行分割以及缺失信息的恢复和导向，最终获得了良好的融合结果。实验结果表明，FusionBooster 方法显著提高了性能，并且使用轻量级模型，计算成本不大。
发现论文，激发创造
  • 引导深度解码器：无监督图像对融合

    本研究提出了一种基于引导式深度解码器网络的通用先验，该网络由一个利用引导图像的多尺度特征的编码器-解码器网络和一个生成输出图像的深度解码器网络组成，并通过特征细化单元将引导图像的多尺度特征嵌入深度解码器网络，允许网络参数在无监督学习的情况下进行优化，实现了多种图像融合问题的最新性能。

    Jul, 2020

  • 语义对齐融合transformer用于一阶段物体检测

    研究了在数据稀缺的情况下，单次目标检测的问题，提出了一个效果良好的基于注意力机制的框架，名为Semantic-aligned Fusion Transformer (SaFT)，采用竖直和水平融合模块实现跨尺度和跨样本特征的融合，通过语义对齐的注意力机制大幅提高性能，使得基于目前现有的数据训练的一阶段的检测基线的性能得到了显著提升。

    Mar, 2022

  • 3D物体检测的稀疏稠密融合

    本文提出Sparse Dense Fusion（SDF）框架，通过Transformer融合了稀疏融合和密集融合模块，同时丰富了语义纹理和利用了空间结构信息，相比基线提高了4.3%的mAP和2.5%的NDS，在nuScenes基准测试中排名第一。

    Apr, 2023

  • LRRNet：一种用于红外和可见光图像的新型表示学习引导融合网络

    本文提出了一种基于深度学习以及低秩表示为基础的图像融合网络构建方法，可以通过学得的模型来引导网络构造，以实现最佳的融合效果。在公共数据集中的实验结果表明，本文所提出的方法比其他现有的方法在融合性能方面具有更好的表现，而且所需的训练参数比其他方法要少。

    Apr, 2023

  • 一种任务引导的、隐式搜索的、元初始化的深度模型用于图像融合

    本研究提出了一种基于 TIM 深度模型的图像融合方法，采用下游任务引导和隐式搜索机制来提高图像质量和视觉感知，并在不同类型的图像融合问题和相关下游任务上得到了很好的实验结果。

    May, 2023

  • 相互指导的动态网络图像融合

    我们提出了一种新颖的相互引导动态网络（MGDN）用于图像融合，该网络允许有效地利用来自不同位置和输入的信息。实验结果表明，我们提出的方法在四种图像融合任务上优于现有方法。

    Aug, 2023

  • 基于无标定变压器特征融合的三维目标检测

    通过使用transformers在多个传感器的多个抽象级别上映射特征，我们提出了首个无需校准的3D物体检测方法，消除了复杂和昂贵的校准过程，不仅在BEV mAP上优于单模态设置14.1％，还表明transformer确实学习到了传感器映射。我们希望通过展示传感器融合不需要校准来激励其他研究者，同时得到的方法对旋转和平移变化具有很强的鲁棒性。

    Dec, 2023

  • FuseFormer: 用于视觉和热图像融合的Transformer

    通过整合转换器模型的多尺度融合策略，本研究提出了一种新的图像融合方法，以克服使用评价指标作为损失函数所带来的局限性，并改善了整体方法的效果。

    Feb, 2024

  • 融合对象掩码引导的图像伪造分析的融合Transformer

    OMG-Fuser是一种基于融合变压器网络的图像伪造检测和定位方法，它可以从不同的法证信号中提取信息，并利用目标信息进行分析，相比以往的方法，它可以操作任意数量的法证信号并考虑图像语义关系。

    Mar, 2024

  • FusionMamba：基于状态空间模型的高效图像融合

    图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合，生成高分辨率的多/高光谱图像。本文提出了一种名为FusionMamba的创新方法，通过在两个U型网络中结合Mamba块，以一种高效、独立和分级的方式提取空间和光谱特征，进而有效地将空间和光谱信息进行融合，得到了优于其他融合技术的性能，证明了FusionMamba的有效性。

    Apr, 2024