Aug, 2024

边缘引导对抗条件扩散模型的热模态数据生成方案

HTML
PDF
TL;DR本研究解决了在低光和恶劣天气条件下热视觉算法训练数据样本稀缺的问题。提出了一种新的边缘引导条件扩散模型，通过可见图像中的边缘信息生成像素级对齐的伪热图像，从而提高对象 delineation 的精确度。实验结果表明，该模型在图像生成质量上优于现有的最先进方法。
发现论文，激发创造
  • 基于生成对抗网络的极化热脸可见脸合成

    本文提出了一种基于生成对抗网络的可见面孔合成 (GAN-VFS) 方法，通过联合优化来自极化热成像的面孔图像。通过在训练过程中引入指导子网络来确保编码的可见特征包含更多的语义信息，结合恒等损失和感知损失实现兼顾光学真实属性和重建输出的区分特征，实验表明该方法达到了最先进的性能。

    Aug, 2017

  • 使用生成对抗网络从偏振热面生成高质量的可见人脸

    本研究提出了一个基于生成对抗网络和多流特征级融合技术的新方法，将极化热成像的人脸图像合成为高质量的可见光图像，并在不同的实验协议下进行多次实验验证。

    Dec, 2018

  • 使用对抗训练进行未配对的热到可见光谱转换

    提出了一种使用生成对抗网络的无监督学习方法，来实现热红外相机拍摄图像的可视化处理，相较于现有的监督学习模型，该模型在 KAIST-MS 数据集上表现更好，并且对新环境具有良好的泛化性能。

    Apr, 2019

  • 自注意力引导综合极化热到可见光人脸验证

    本研究提出了一种基于SAGAN的综合网络，旨在将可见人脸合成为热成像，并将热成像合成为可见人脸，在跨域匹配中取得了最先进的性能。

    Apr, 2019

  • 从任何地方借用: 热成像伪多模态目标检测

    本文中，我们提出使用基于图像域数据训练的伪多模态对象检测器，在热成像中改善对象检测的性能，并指出我们的框架优于现有的基准，并具有在使用我们的方法时以更少的热成像数据进行学习的能力。

    May, 2019

  • 日夜图像物体分割：基于边缘注意力卷积神经网络的热像语义分割

    本研究提出了一种新的神经网络体系结构，称为边缘条件卷积神经网络（EC-CNN），用于热成像语义分割，并构建了一个新的 SODA 数据集进行评估，结果表明 EC-CNN 对于热成像语义分割的效果优于现有的现有的最先进方法。

    Jul, 2019

  • RGB热图场景分割的边缘感知引导融合网络

    提出一种边缘感知融合引导网络（EGFNet）用于 RGB 热场景解析，在 RGB 和热图像上生成先验边缘映射捕捉详细信息，使用多模态融合模块来融合 RGB 和热信息，使用全局信息和语义信息模块提取高层次特征的语义信息，应用多任务深度监督来提高解析准确性，实验结果表明 EGFNet 是优于现有方法的。

    Dec, 2021

  • 可见光到热红外人脸 GAN 模型胜于有条件扩散

    本文提出了一种新的生成对抗网络叫VTF-GAN，它能够通过学习人脸的空域和频域特征，实现从可见光图像到红外热成像图像的高质量转换。实验结果表明，相对于其他对比算法，VTF-GAN具有更高的质量和真实感。

    Feb, 2023

  • 低光条件下可见光到热像转换以提高视觉任务效果

    本文提出了一种利用生成网络和检测网络将RGB图像转化为热成像图像的端到端框架，并通过生成的热成像图像与真实数据进行比较，论证了使用生成对抗网络将RGB训练数据转化为热成像数据的可行性，从而加快和降低生成热成像数据的成本，满足安全应用的需求。

    Oct, 2023

  • vHeat: 基于热传导的视觉模型构建

    通过模拟热传导原理，本研究提出了vHeat，一种新颖的视觉模型，可以同时实现高计算效率和全局感受野，并通过Heat Conduction Operator (HCO)模块将其应用于深度模型中。广泛的实验证明vHeat在各种视觉任务上超越了Vision Transformers (ViTs)，同时为高分辨率图像提供了更高的推理速度、降低的FLOPs和较低的GPU内存使用。

    May, 2024