DAE-Fuse:一种自适应对抗自编码器用于多模态图像融合
本文提出一种基于自编码器的图像融合网络,通过分解图像特征,实现融合的可靠性和细节纹理信息的丰富性,取得了较好的实验效果和鲁棒性。
Mar, 2020
本文提出了一种基于双层优化的目标感知对抗学习(TarDAL)用于融合热红外和可见光图像的网络,结合了两者的共性和差异,同时建立了一套同时采集红外和光学图像的标定传感器,实现了对不同场景的目标检测并获得了较高性能。
Mar, 2022
本研究提出了一种新型的深度分层变分自编码器——FusionVAE,它可以将多个模糊、遮挡或部分可见的图像样本融合成一个图像,并在计算机视觉任务中显示了优越的性能。
Sep, 2022
本研究提出了一种基于 TIM 深度模型的图像融合方法,采用下游任务引导和隐式搜索机制来提高图像质量和视觉感知,并在不同类型的图像融合问题和相关下游任务上得到了很好的实验结果。
May, 2023
本研究提出了一种基于文本引导的多模态图像融合方法,利用文本描述的高级语义结合红外和可见光图像的语义信息,为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达,并通过双层优化策略同时优化融合和检测问题,本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。
Dec, 2023
通过整合转换器模型的多尺度融合策略,本研究提出了一种新的图像融合方法,以克服使用评价指标作为损失函数所带来的局限性,并改善了整体方法的效果。
Feb, 2024
图像融合技术中通常采用非可逆神经网络将多个源图像合并成一张融合图像。然而,对于临床专家而言,仅仅依赖融合图像可能无法对诊断决策产生足够的帮助,因为融合机制会混合源图像的特征,使得对潜在的肿瘤病理学的解释变得困难。我们引入了一种新的可逆图像融合框架——FusionINN,能够高效地生成融合图像,并通过求解融合过程的逆过程将其分解回源图像。FusionINN通过整合一个正态分布的潜在图像与融合图像,以促进分解过程的生成建模,确保了无损的一对一像素映射。在我们所了解的范围内,我们是首次研究融合图像的分解性,这对于生命敏感的应用(如医学图像融合)尤为重要,与多焦点或多曝光图像融合等其他任务相比。我们广泛的实验证明了FusionINN相对于现有的判别和生成融合方法在主观和客观上的优势。此外,与最近一种基于去噪扩散的融合模型相比,我们的方法提供了更快速和更好的融合效果。我们还展示了我们的结果在辅助疾病预后方面的临床效用。
Mar, 2024
MaeFuse是一种用于红外和可见光图像融合的新型自编码器模型,利用预训练的Masked Autoencoders (MAE)编码器提取特征,在消除不同模态特征的领域差异和MAE编码器引起的块效应的同时,利用引导式训练策略逐步增强融合效果。
Apr, 2024
本研究解决了红外和可见光图像融合中的关键特征保留问题,提出了一种双分支特征分解融合网络(DAF-Net)及其领域自适应方法。通过引入多核最大均值差异(MK-MMD)和设计混合核函数,DAF-Net有效对齐了红外和可见光图像的潜在特征空间,显著提升了融合图像的质量和性能。
Sep, 2024