Sep, 2023

MISFIT-V：利用热像和可视信息的错位图像合成与融合

PDF
TL;DR使用来自热像和视觉的信息进行失配图像合成和融合（MISFIT-V）是一种新型的双重无监督深度学习方法，利用生成对抗网络（GAN）和交叉注意机制从每个模态中捕获最相关的特征。实验结果表明，与现有的视觉 - 热像融合方法相比，MISFIT-V 在失配和光照 / 热环境条件较差的情况下具有增强的鲁棒性。
wilderness search-and-rescueairborne imageryfusionmisaligned image synthesis and fusionunsupervised deep learning
发现论文，激发创造
  • 使用对抗训练进行未配对的热到可见光谱转换

    提出了一种使用生成对抗网络的无监督学习方法，来实现热红外相机拍摄图像的可视化处理，相较于现有的监督学习模型，该模型在 KAIST-MS 数据集上表现更好，并且对新环境具有良好的泛化性能。

    Apr, 2019

  • 使用语义引导生成对抗网络将热成像映射到可见光人脸图像

    本研究提出使用语义引导生成对抗网络（SG-GAN）从热成像中自动生成可见光人脸图像，并通过多种不同的损失函数进行控制以实现更好的可视化效果和性能，从而在多光谱人脸图像识别领域取得了有希望的结果。

    Mar, 2019

  • 基于综合的方法进行热 - 可见光人脸验证

    本研究提出了一种新的算法，实现了对 ARL-VTF 和 TUFTS 多光谱人脸数据集的最新性能和 MILAB-VTF（B）数据集的强大性能。该算法具有广泛的适用性，稳健性和高效性，并将提出的方法与人脸正面化方法进行比较。

    Aug, 2021

  • 跨模态图像生成与配准的非监督不对准红外与可见光图像融合

    本文提出了一种基于生成和配准的深度学习方法，用于无监督热红外图像和可见光图像的融合，通过生成伪红外图像并使用多级配准网络实现图像配准，在特征交互融合模块中，对所选择的特征进行融合，以提高融合质量和鲁棒性。

    May, 2022

  • 基于生成对抗网络的极化热脸可见脸合成

    本文提出了一种基于生成对抗网络的可见面孔合成 (GAN-VFS) 方法，通过联合优化来自极化热成像的面孔图像。通过在训练过程中引入指导子网络来确保编码的可见特征包含更多的语义信息，结合恒等损失和感知损失实现兼顾光学真实属性和重建输出的区分特征，实验表明该方法达到了最先进的性能。

    Aug, 2017

  • VisiTherS: 可见 - 热红外人体轮廓立体视差估计

    本文介绍了一种针对人像轮廓视觉 - 红外立体视觉中的差距估计的新方法，该方法使用了高分辨率卷积神经网络来提取特征并进行配准，实验结果表明这种方法比传统方法要有效。

    Apr, 2023

  • 一种中间融合的 ViT 在扩散模型中实现了高效的文本 - 图像对齐

    通过使用中间融合机制，我们在文本生成图像任务上获得了更高的 CLIP 得分，更低的 FID，与早期融合相比减少了 20% 的运算量，并且训练速度提高了 50%。

    Mar, 2024

  • Vista-Morph：可见光 - 热像面部配对无监督图像配准

    Vista Morph is an unsupervised approach for Visible-Thermal facial registration that aligns facial and non-facial VT images using a ViT-based Spatial Transformer Network and Generative Adversarial Networks, improving subject identity of generated thermal faces when performing V2T image translation.

    Jun, 2023

  • 红外和可见光图像融合的多尺度信息融合框架

    我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

    Dec, 2023

  • 自注意力引导综合极化热到可见光人脸验证

    本研究提出了一种基于 SAGAN 的综合网络，旨在将可见人脸合成为热成像，并将热成像合成为可见人脸，在跨域匹配中取得了最先进的性能。

    Apr, 2019