Oct, 2023

基于 3D 合成数据增强的海上救援热红外遥感目标检测系统

PDF
TL;DR本文提出了一个利用深度学习和数据增强的热红外（TIR）远程目标检测系统，该系统针对海上救援进行研究。通过使用 TIR 相机（FLIR）建立了一个自采集的 TIR 数据集，其中包括多个模拟人类救援情境的场景。此外，为了解决数据集稀缺和改善模型的鲁棒性，还收集了一个合成数据集，该数据集是从一个 3D 游戏（ARMA3）中获取的。然而，合成 TIR 图像与真实 TIR 图像之间存在显著的领域差距。因此，为了解决这个问题，本文建议了一种基于生成模型的从 3D 游戏到真实情况下的目标 - 背景分离领域自适应算法。此外，还提出了一个带有固定权重内核的分割网络，以改善信噪比（SNR）并提供弱注意力，因为远程 TIR 目标本质上具有不清晰的边界。实验结果表明，用包含翻译合成和真实 TIR 数据的增强数据训练的网络在性能上明显优于只使用真实 TIR 数据进行训练的网络。此外，所提出的分割模型超越了最先进的分割方法的性能。
thermal-infrared remote target detectiondeep learningdata augmentationdomain adaptation algorithmsegmentation network
发现论文，激发创造
  • 端到端热红外跟踪的合成数据生成

    使用图像到图像翻译模型，将可得的 RGB 数据转换成合成 TIR 数据用于 TIR 跟踪中的端到端特征的训练，并在 VOT-TIR2017 数据集上进行实验，发现相对于仅训练可得真实 TIR 数据或人工构建特征的方法，使用合成数据进行训练可以显著提高跟踪性能且通过与运动特征的结合可以进一步改进。

    Jun, 2018

  • 使用混合数据集训练深度学习模型以实现对真实合成孔径雷达图像的稳健自动目标检测

    通过使用合成目标，训练具有深度学习方法的自动目标检测模型来解决合成孔径雷达图像中地面目标检测算法所面临的挑战，并证明该方法能在无需真实数据训练的情况下，在真实数据上达到高达 90% 的平均精度。

    May, 2024

  • 热红外追踪的多任务驱动特征模型

    该论文提出了一种基于多任务学习的框架，学习适用于红外追踪的特征模型，并使用大规模红外训练数据集来优化该模型。在三个基准测试中，实验结果表明，该算法的相对增益达到 10％，表现优于现有的方法。

    Nov, 2019

  • 自我训练引导的对抗域适应在热成像中的应用

    利用深度模型进行的大规模 RGB 图像数据集的训练已经取得了巨大成功。本文提出一种无监督领域自适应方法，该方法结合了光谱和热图像模态，通过自训练引导的对抗领域自适应方法促进了对目标领域更广义的表示学习。

    Jun, 2021

  • 使用对抗训练进行未配对的热到可见光谱转换

    提出了一种使用生成对抗网络的无监督学习方法，来实现热红外相机拍摄图像的可视化处理，相较于现有的监督学习模型，该模型在 KAIST-MS 数据集上表现更好，并且对新环境具有良好的泛化性能。

    Apr, 2019

  • 热红外物体跟踪的深度多层相似度学习

    本研究提出一种多层相似性模型来提高红外物体跟踪的辨别能力，其中利用了卷积层计算 TIR 对象的全局语义相似度和本地结构相似度，通过一种相对熵的集成子网络进行集成，并构建了大规模 TIR 视频序列数据集以优化算法效果。

    Jun, 2019

  • 利用文本转图像合成数据进行鲁棒性空中图像灾害评估

    利用文本到图像生成模型在创建大规模合成监督时，我们提出了一种简单高效的方法用于来自空中图像的损害评估。我们的方法通过将生成模型的文本引导的基于掩码的图像编辑能力与训练模型的两阶段方法结合，从而在缺乏手动标注数据的领域中提高了模型的域鲁棒性。我们验证了我们提出的框架在跨地理领域转移设置中的有效性，并在单源和多源设置中与仅有源的基线相比取得了显着的改进。

    May, 2024

  • 无人机在线自监督热水体分割

    我们提出了一种新的方法，通过利用纹理和运动信息作为监督信号，利用在线自监督的方式将 RGB 训练的水域分割网络适用于目标领域的航空热成像。这种新的热成像能力使得当前操作于临海环境中的自主航空机器人能够在夜间执行诸如可视导航、水深测量和流量跟踪等任务。我们的方法克服了稀少且难以获取的临海热成像数据导致传统的有监督和无监督方法无法应用的问题。在这项工作中，我们整理了第一个临近海域热成像航空数据集，证明了我们的方法优于在有限目标领域热成像数据上训练的全监督分割模型，并且在 Nvidia Jetson 嵌入式计算平台上展示了实时功能。本文代码和数据集将在此 https URL 上提供。

    Jul, 2023

  • 多视角遥感图像分割的隐式射线变换器

    该论文提出了一种基于 Implicit Ray-Transformer 和神经场的遥感场景语义分割方法，在有限的标记视图的情况下，通过引入多视角的三维结构先验信息以实现精确和视图一致的语义分割，并在实验中取得了较好效果。

    Mar, 2023

  • EANet：增强的基于属性的 RGBT 跟踪器网络

    提出了一种深度学习的图像跟踪方法，将 RGB 图像和红外热像合并进行特征提取和人工属性应用的跟踪，此方法在 RGBT234 和 LasHeR 这两个最广泛使用的 RGBT 目标跟踪数据集上表现优异。

    Jul, 2023