ECCVMar, 2020

利用移植网络学习利用多种视觉模态

PDF
TL;DR该文提出了一种基于 Network Grafting Algorithm 的自监督训练算法，用于使用冷热图像信息进行优化前的深度学习神经网络挑战。提出的算法取得了在物体检测任务上与传统深度学习网络相当的表现，同时在训练时缩短了时间和参数量。
vision sensorsdeep neural networksnetwork grafting algorithmobject detectionthermal frames
发现论文，激发创造
  • 远程感知图像中的数据增强和适应的条件生成对抗网络

    使用 GAN 将给定的标记遥感图像拓展成更大的数据集并评测其对于物体检测任务的性能提升。

    Aug, 2019

  • 使用合成数据增强学习找到缺失的视频帧：通用框架及在使用 RGB 相机生成热像的应用

    通过使用生成模型方法，提出了使用有条件的生成对抗网络（cGANs），比较了 pix2pix 和 CycleGAN 两种结构，实验结果表明 pix2pix 的性能优于 CycleGAN，并且利用多视角输入样式，特别是叠加视图，提高了热像生成的准确性。 此外，该研究评估了该模型在不同主体上的普适性，揭示了个性化训练对优化性能的重要性。 研究结果表明生成模型在解决缺失帧问题、推进智能车辆的驾驶状态监测以及强调对模型泛化和定制化的持续研究的潜力。

    Feb, 2024

  • 面向视觉的三维目标检测的几何感知预训练

    提出了一种名为 GAPretrain 的几何意识预训练框架，通过使用几何丰富的模态和来自 LiDAR 点云的结构提示，实现跨不同模态之间的属性转移，从而解决多镜头自动驾驶中图像和视角不一致的问题，实现了很好的效果。

    Apr, 2023

  • TV-GAN: 基于生成对抗网络的热成像到可见光人脸识别

    提出一种基于 TV-GAN 的方法解决在红外相机下进行的人脸识别问题，该方法可以确保在图像转换的过程中保留身份信息，通过对判别器网络训练进行显式的闭合集人脸认证损失的规范，使得 TV-GAN 可以在处理前所未见过的人的图像时更好地保留身份信息。

    Dec, 2017

  • 学习跨模态交互的图神经网络用于图像融合

    提出了一种基于交叉模式的互动图神经网络（GNN）的架构，称为 IGNet，用于红外和可见光图像融合，通过构建图结构实现了不同模态之间的互动学习，从而提高融合图像的表达和下游任务的性能。

    Aug, 2023

  • 使用语义引导生成对抗网络将热成像映射到可见光人脸图像

    本研究提出使用语义引导生成对抗网络（SG-GAN）从热成像中自动生成可见光人脸图像，并通过多种不同的损失函数进行控制以实现更好的可视化效果和性能，从而在多光谱人脸图像识别领域取得了有希望的结果。

    Mar, 2019

  • 利用异常值引导的协同适应推广注视估计

    本文提出了一种插拔式注视适应框架（PnP-GA），它是一组网络，根据离群点的指导协作学习，并通过将现有注视估计网络直接插入到 PnP-GA 中来将算法推广到新领域，从而实现目标域中的注视估计。在四个注视领域适应任务中，实验证明了该框架相对于基线系统的性能提升 36.9％，31.6％，19.4％和 11.8％，同时也胜过当前领先的注视域适应方法。

    Jul, 2021

  • 基于时序图神经网络的半监督三维物体检测

    通过时态图神经网络的半监督学习，利用大量未标注的点云视频进行 3D 物体探测，实现了比基线和同等标记数据下的最新检测性能更好的检测，关键词：3D 物体探测；半监督学习；时态图神经网络；未标注数据；最新检测性能。

    Feb, 2022

  • 传感器融合优化门控深度学习架构

    本文提出两种更优化的结构：一种采用更粗粒度的门控机制，使用组级别融合权重；另一种是使用组级别和特征级别的融合权重的两阶段门控机制，实验结果表明所提出的门控结构在面对传感器噪声和故障时具有鲁棒性并显著提高了性能。

    Oct, 2018

  • HeatNet: 利用热成像技术缩小昼夜间语义分割差距

    本文提出了一种多模态语义分割模型，可以适用于日间和夜间场景，通过引入热成像技术和 RGB 照片，利用现有白天 RGB 数据集实现对夜间图像的学习，并提出了一个新的域对齐训练方法，在自动驾驶方面获得了最新的夜间语义分割结果。

    Mar, 2020