Jul, 2023

夜间 彩色 - 热度 语义分割的 测试时 适应性

PDF
TL;DR夜间 RGB-T 语义分割中，我们提出了第一种测试时适应 (Night-TTA) 框架，以解决两个关键问题：1）RGB 图像的白天和夜晚差距大于热像图，2）夜间 RGB 图像的类别性能未必总是高于或低于热像图。通过 Imaging Heterogeneity Refinement (IHR) 和 Class Aware Refinement (CAR) 技术，以及特定的学习方案，我们的方法在 mIoU 上取得了 13.07% 的显著提升。
scene understandingrgb-thermalsemantic segmentationtest-time adaptationnighttime
发现论文，激发创造
  • HeatNet: 利用热成像技术缩小昼夜间语义分割差距

    本文提出了一种多模态语义分割模型，可以适用于日间和夜间场景，通过引入热成像技术和 RGB 照片，利用现有白天 RGB 数据集实现对夜间图像的学习，并提出了一个新的域对齐训练方法，在自动驾驶方面获得了最新的夜间语义分割结果。

    Mar, 2020

  • 暗模型适应：从白天到黑夜的语义图像分割

    本文提出了一种基于黄昏的方法，通过渐进适应白天场景训练的语义模型，从而实现对夜间场景的语义图像分割。同时，我们构建了一个道路场景数据集，包含从白天到黄昏和到夜晚的 3.5 万张图像，并密集标注了部分夜晚图像，实验证明该方法可以有效地将白天场景下的模型适应到夜晚场景，无需额外的人工标注。

    Oct, 2018

  • ICCV 2023 视觉持续学习挑战的技术报告：语义分割的连续测试时适应

    开发一种测试时自适应方法，用于语义分割任务中针对视频序列中逐渐变化的领域进行模型适应，主要基于合成自驾车视频数据集 SHIFT，目标是分析分布变化并开发一个能够适应数据动态变化和在不同场景中泛化的方法。

    Oct, 2023

  • 单幅图像测试时自适应分割

    优化自监督损失进行测试时间段的自适应图像分割模型，采用多种基线方法及改进，并引入对抗训练来提高性能。

    Sep, 2023

  • 夜晚更清晰：通过昼夜图像转换实现强健的夜间语义分割

    使用生成式对抗网络 (GANs) 方法，我们提出了一个改善在恶劣条件下的语义分割准确度的框架，其中包括将夜间图像转换为白天图像，使用 GANs 生成夜间语义分割数据集，并使用白天数据集中的模型对其进行训练。在实验中发现，“夜间图像比例适当” 是使得性能最为稳定的最佳选择。

    Aug, 2019

  • 基于反馈的目标外观学习的夜间热红外图像上色

    通过使用生成对抗网络和反馈式目标外观学习（FoalGAN）方法，我们提出了改善夜晚热红外图像到日间彩色图像的转换性能的方法，包括对小目标类别的出色转换表现，通过引入一个小目标外观损失并采用双重反馈学习策略，进一步提高小对象的外观学习能力，并通过提供像素级注释的数据集来促进对多种气候条件下的热红外图像的理解研究，实验证明 FoalGAN 在小目标的外观学习方面表现出色，并在 NTIR2DC 任务中在语义保持和边缘连续性方面优于其他图像转换方法。

    Oct, 2023

  • MM-TTA: 3D 语义分割的多模态测试时适应

    本文提出一种新的多模态测试时自适应模型，其中包含 Intra-PG 模块用于获取可靠的伪标签，以及 Inter-PR 模块用于自适应选择更可靠的伪标签，实现了基于多模态输入的 3D 语义分割稳定自学习。

    Apr, 2022

  • 语义夜间图像分割的指导课程模型适应与不确定性感知评估

    解决了夜晚图像语义分割的问题，提出了一种通过标记合成图像和真实图像来逐渐适应夜间的课程框架，并且设计了一个新的评估框架来处理夜间图像中的语义不确定性。

    Jan, 2019

  • RGB - 热图像残差空间融合网络用于语义分割

    本文提出了一种基于 Residual Spatial Fusion Network 的 RGB-Thermal 语义分割方法，通过采用不对称编码器和 Saliency Detection 生成伪标签来学习 RGB 和热成像的补偿特征，并通过使用 Residual Spatial Fusion (RSF) 模块来实现跨模态特征的空间融合，最终在 MFNet 数据库和 PST900 数据库上实现了最新的分割性能。

    Jun, 2023

  • PST900: RGB-Thermal 校准、数据集和分割网络

    本文提出在语义分割中使用基于学习的技术并支持长波红外成像 (LWIR) 技术，解决了 RGB - 热成像相机校准和数据集问题并比较表明使用我们的方法可以获得最佳的结果。

    Sep, 2019