本研究提供了首个在自然环境中进行航空机器人操作的公开 RGB - 热数据集。该数据集捕捉了美国大陆各种地形，包括河流、湖泊、海岸线、沙漠和森林，并包含了同步的 RGB、长波热、全球定位和惯性数据。此外，我们为自然环境常见的 10 个类别提供语义分割注释，以促进对逆境天气和夜间条件下鲁棒的感知算法的开发。利用该数据集，我们提出了热和 RGB - 热语义分割、RGB 到热图像转换和视觉惯性测程的新的具有挑战性的基准测试。通过使用最先进的方法进行广泛的实验并强调了我们的数据中面临的时间和地理领域变化所带来的挑战。数据集和附带的代码将在此 https 网址上提供。

Mar, 2024

本文提出了一种多模态语义分割模型，可以适用于日间和夜间场景，通过引入热成像技术和 RGB 照片，利用现有白天 RGB 数据集实现对夜间图像的学习，并提出了一个新的域对齐训练方法，在自动驾驶方面获得了最新的夜间语义分割结果。

Mar, 2020

通过使用红外图像进行语义分割，本研究对现有算法进行了分类，并提出了两种解决方案，一种是使用可见光和红外图像，另一种是只使用红外图像。

May, 2022

通过建立一个拥有 2,400 张高质量 LWIR（热力红外）图像的独特 RGB - 热力几乎配对和注释的 2D 动作数据集，该研究论文介绍了一个有助于遮挡和其他挑战情景中动作估计的数据集，并对数据集上的先进动作估计方法进行了基准测试，展示了该数据集在促进动作估计方法发展中的潜力。

Apr, 2024

本文提出了一种利用生成网络和检测网络将 RGB 图像转化为热成像图像的端到端框架，并通过生成的热成像图像与真实数据进行比较，论证了使用生成对抗网络将 RGB 训练数据转化为热成像数据的可行性，从而加快和降低生成热成像数据的成本，满足安全应用的需求。

Oct, 2023

本文提出了一种基于 Residual Spatial Fusion Network 的 RGB-Thermal 语义分割方法，通过采用不对称编码器和 Saliency Detection 生成伪标签来学习 RGB 和热成像的补偿特征，并通过使用 Residual Spatial Fusion (RSF) 模块来实现跨模态特征的空间融合，最终在 MFNet 数据库和 PST900 数据库上实现了最新的分割性能。

Jun, 2023

夜间 RGB-T 语义分割中，我们提出了第一种测试时适应 (Night-TTA) 框架，以解决两个关键问题：1）RGB 图像的白天和夜晚差距大于热像图，2）夜间 RGB 图像的类别性能未必总是高于或低于热像图。通过 Imaging Heterogeneity Refinement (IHR) 和 Class Aware Refinement (CAR) 技术，以及特定的学习方案，我们的方法在 mIoU 上取得了 13.07% 的显著提升。

Jul, 2023

提出了一种深度学习的图像跟踪方法，将 RGB 图像和红外热像合并进行特征提取和人工属性应用的跟踪，此方法在 RGBT234 和 LasHeR 这两个最广泛使用的 RGBT 目标跟踪数据集上表现优异。

Jul, 2023

该研究开发了一个三阶段的神经网络模型，利用 RGB - 热成像数据集进行过去的人体姿势估计，并表明热信号可显著降低该任务的不确定性。

Apr, 2023

RGB-Thermal 语义分割中存在模态间信息交叉污染问题，本文提出了一种基于信道和空间关系传播网络（CSRPNet）的解决方案，通过在信道和空间维度进行关系传播，捕捉 RGB 和热成像图像的模态共享特征，并通过增强输入特征的方式解决了信息污染问题。同时，引入了双路径级联特征细化模块来进行多层特征聚合，产生用于语义和边界预测的两个细化特征。大量实验证明，CSRPNet 在各方面优于现有的算法。

Aug, 2023