ICMLSep, 2020

消防应用增强现实的嵌入式深度学习系统

PDF
TL;DR本研究旨在利用最新技术（例如深度学习、点云技术、红外成像技术、增强现实平台等）来提高消防员在火灾环境中的情境意识，并改善场景导航。我们设计并构建了一个嵌入式原型系统，该系统可以利用从消防员个人防护装备中内置摄像头中流传输的数据来捕捉热图像、RGB 彩色图像和深度图像，进而实时分析所有数据并将处理后的图像通过无线流媒体传回给消防员，以增强现实方式表现出分析结果，并指示消防员注意烟雾和火焰中隐藏的物体，如门窗等。
firefightingsituational awarenessdeep learningthermal imagingaugmented reality
发现论文，激发创造
  • 使用红外和热成像融合进行火灾场景的实时人体检测

    该论文提出了一种基于烟雾引起的低能见度场景中的热红外成像融合策略的人体检测系统，通过多摄像机处理收集重要信息，融合提取的特征输入轻量级深度神经网络进行人体检测任务，实验表明该方法在合理速度下能够以 95% 的 [email protected] 值取得良好性能。

    Jul, 2023

  • 深度学习架构分析及其在森林火灾检测中的有效性评估

    本文旨在综述计算机视觉技术在防治森林火灾方面的应用现状，尤其是为缺乏领域专业知识的机器学习从业者提供更易获取的专业数据集和方法，以支持相关研究工作的开展。

    Dec, 2022

  • 利用无人机捕捉的烟雾模式进行野火火焰时序分析的隐蔽检测

    本文提出了一种利用 RGB 相机和语义分割等技术实时探测被树木、烟雾、云等自然障碍物掩盖的野火的方法，并将此方法应用于无人机上以实现精准灭火。

    Jun, 2023

  • 基于深度学习的穿戴式助视系统

    本文提出了一种基于深度学习的辅助系统，旨在提高视障人士的环境感知体验，通过 RGBD 数据和建立的语义地图预测行走指令、进行障碍物避让，在多种情境下得到了很好的实验效果并有效提高了视障人士的环境感知体验。

    Aug, 2019

  • 嵌入式无人机实时空中检测与推理

    提出一种统一的流水线架构，用于 UAV 上的嵌入式系统的实时检测系统，可在自主勘测和活动报告等 UAV 应用中利用领域特定知识进行空中行人检测和活动识别。

    May, 2023

  • 基于 3D 合成数据增强的海上救援热红外遥感目标检测系统

    本文提出了一个利用深度学习和数据增强的热红外（TIR）远程目标检测系统，该系统针对海上救援进行研究。通过使用 TIR 相机（FLIR）建立了一个自采集的 TIR 数据集，其中包括多个模拟人类救援情境的场景。此外，为了解决数据集稀缺和改善模型的鲁棒性，还收集了一个合成数据集，该数据集是从一个 3D 游戏（ARMA3）中获取的。然而，合成 TIR 图像与真实 TIR 图像之间存在显著的领域差距。因此，为了解决这个问题，本文建议了一种基于生成模型的从 3D 游戏到真实情况下的目标 - 背景分离领域自适应算法。此外，还提出了一个带有固定权重内核的分割网络，以改善信噪比（SNR）并提供弱注意力，因为远程 TIR 目标本质上具有不清晰的边界。实验结果表明，用包含翻译合成和真实 TIR 数据的增强数据训练的网络在性能上明显优于只使用真实 TIR 数据进行训练的网络。此外，所提出的分割模型超越了最先进的分割方法的性能。

    Oct, 2023

  • 自主异构机器人系统的高效实时烟雾过滤与搜救

    提出一种基于强度和空间信息的新型模块化通用滤波流程，用于消除探测到的烟雾颗粒物，实现移动机器人在困难和无结构的亚地下环境中的安全自主导航。

    Aug, 2023

  • 无人机和神经网络用于搜救任务

    通过使用人工神经网络和监督学习的数据集，本论文提出了一种在无人机拍摄的航拍图像中检测感兴趣对象（包括汽车、人类和火灾）的方法，并结合经典图像处理技术和预训练的神经网络实现了数据集的辅助标注和数据扩增。最后，评估了不同神经网络的性能。

    Oct, 2023

  • 强化学习基于能见度低环境中逃生路径生成

    通过使用激光雷达测绘系统，结合声纳和烟雾浓度数据，本文提出了一种实时确定消防人员搜索路径和平民撤离路径的系统，通过对独立点云数据的合并和简化，以及根据温湿度数据为每个节点标注危险分数，建立了一个环境张量，并通过线性函数逼近基于自然政策梯度强化学习方法，证明其在鲁棒性和速度方面优于更复杂的竞争方法，最后，提出了两个系统（救助者和难民）用于处理环境张量，分别创建安全救援和逃生路线。

    May, 2024

  • 基于深度学习的无人机应急响应航空影像分类

    本篇论文研究了利用无人机进行应急响应和灾害管理的自动化航空场景分类，提出了一个用于紧急响应的航空图像数据库（AIDER），并进行了现有方法的比较分析。通过该分析，开发出了一个轻量级的卷积神经网络（CNN）架构，能够在嵌入式平台上高效运行，在需要的时候能够在灾难性事件中提供即时帮助。

    Jun, 2019