May, 2023

一种任务引导的、隐式搜索的、元初始化的深度模型用于图像融合

PDF
TL;DR本研究提出了一种基于 TIM 深度模型的图像融合方法，采用下游任务引导和隐式搜索机制来提高图像质量和视觉感知，并在不同类型的图像融合问题和相关下游任务上得到了很好的实验结果。
image fusionmulti-sensortim deep modeldownstream tasksunsupervised learning
发现论文，激发创造
  • 联合多模态图像融合及其它应用的二层动态学习

    本文描述了一种层次双任务驱动的深度模型，用于多模态场景感知，包括图像融合和场景理解。该模型不仅能够产生视觉良好的融合结果，而且比现有技术实现了显著的检测和分割优势。

    May, 2023

  • 基于视觉 - 语言模型的图像融合

    通过利用不同源图像中的显式文本信息来指导图像融合，我们提出了一种名为 FILM 的新型图像融合范式，首次利用 ChatGPT 中的文本信息，通过交叉注意力从源图像中提取关键视觉特征，实现了更深层次的上下文理解，最终生成了融合图像。在红外 - 可见光、医学、多曝光和多焦点图像融合等四个任务中，该范式取得了令人满意的结果。我们还提出了一个基于 ChatGPT 的视觉 - 语言数据集，其中包含了十个图像融合数据集的段落描述，以促进基于视觉 - 语言模型的图像融合的未来研究。代码和数据集将会发布。

    Feb, 2024

  • 引导深度解码器：无监督图像对融合

    本研究提出了一种基于引导式深度解码器网络的通用先验，该网络由一个利用引导图像的多尺度特征的编码器 - 解码器网络和一个生成输出图像的深度解码器网络组成，并通过特征细化单元将引导图像的多尺度特征嵌入深度解码器网络，允许网络参数在无监督学习的情况下进行优化，实现了多种图像融合问题的最新性能。

    Jul, 2020

  • FusionBench 深度模型融合的全面基准

    深度模型融合是一种新兴技术，它以经济高效的方式将多个深度神经网络的预测或参数统一到一个模型中，从而优于原模型的性能。为了解决评估这些融合技术有效性和稳健性的问题，我们介绍了 FusionBench 作为第一个全面专门面向深度模型融合的基准测试。FusionBench 覆盖了各种任务，并在不同任务、模型规模和微调策略下提供了公平且全面的比较。同时，我们还提供了资源和指南，以帮助研究人员理解和复现基准测试结果。

    Jun, 2024

  • ReFusion: 通过元学习从重建中学习可学习损失的图像融合

    我们提出了一种名为 ReFusion 的统一的元学习图像融合框架，通过重构源图像来学习最佳融合损失函数，解决了深度学习图像融合算法中由于缺乏确定性的标准和距离测量而存在的问题，并能够成功适应多种融合任务。

    Dec, 2023

  • FuseFormer: 用于视觉和热图像融合的 Transformer

    通过整合转换器模型的多尺度融合策略，本研究提出了一种新的图像融合方法，以克服使用评价指标作为损失函数所带来的局限性，并改善了整体方法的效果。

    Feb, 2024

  • TextFusion: 揭秘文本语义在可控图像融合中的力量

    利用高级语义，通过视觉 - 语言模型建立文本与图像信号之间的粗粒度关联机制，并在变换器网络中嵌入仿射融合单元以在特征级别上融合文本和图像模态，提出了一种以文本为导向的融合方法，并释放了一个文本注释的图像融合数据集 IVT 来促进其实施和在研究社区的采用。大量实验证明我们的方法（TextFusion）在传统的基于外观的融合方法上始终表现优异。

    Dec, 2023

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024

  • 多交互特征学习和全时多模态图像融合与分割基准

    提出了一种用于图像融合和分割的多交互特征学习架构，名为 SegMiF，利用双任务相关性促进两个任务的性能表现。

    Aug, 2023

  • 等变多模态图像融合

    本文提出 Equivariant Multi-Modality imAge fusion (EMMA) paradigm 用于多模态图像融合，采用自我监督学习方法进行高质量的图像融合，并能够促进下游的多模态分割和检测任务。

    May, 2023