Tracker Meets Night: 无人机跟踪的 Transformer 增强器
本文提出了一种名为 DarkLighter 的低光图像增强器,采用轻量级的 ME-Net 网络,用于提高无人机跟踪器在夜间、低光环境下的鲁棒性。实验证明,DarkLighter 的普适性和可靠性很高,并已在典型的 UAV 系统上实现,夜间场景的实际测试表明其实用性和可靠性。
Jul, 2021
提出了一种名为 Darkness Clue-Prompted Tracking(DCPT)的新颖架构,通过有效地学习生成黑暗线索提示,实现了夜间无人机跟踪的鲁棒性。DCPT 在昼夜切换中无需额外模块,直接将抗黑暗能力编码为黑暗线索提示器(DCP)生成的视觉提示,通过固定参数的白天跟踪器与变压器层进行学习和融合。实验证明 DCPT 在多个黑暗场景基准上表现出最先进的性能,实现了增强和跟踪的端到端可训练系统。
Sep, 2023
通过教师 - 学生的知识转移,构建了一种夜间无人机追踪的新型相互学习知识蒸馏框架 MLKD,以解决夜间无人机追踪中的低光增强器引入的计算负担和单学生训练偏见等问题,并在实际测试中验证了其有效性和优越性。
Dec, 2023
该研究提出了一种新颖的无监督领域自适应框架 UDAT,通过采用唯一的物体发现方法生成训练补丁,使用 Transformer day /night 功能鉴别器生成 Transformer-based bridging layer 来解决两个域之间的差异,构建 NAT2021 数据集,实验表明该框架在夜间航空跟踪中具有强大的鲁棒性和域适应性。
Mar, 2022
提出了一种具有抗暗功能的新型追踪器 ADTrack,通过在基于相关性过滤器的追踪器中集成高效,有效的低光图像增强器,同时生成基于图像照明变化的目标感知遮罩,以协助上下文过滤器进行强引导追踪。ADTrack 采用双重回归,其中上下文过滤器和目标专注过滤器互相限制进行双重过滤器训练,在 37 个典型的暗场景基准测试中,ADTrack 优于其他同类追踪器,实现了单 CPU 上 34 帧 / 秒的实时速度。
Jun, 2021
在低光环境中进行准确的物体追踪对于监控和动物行为学应用至关重要。本文研究了这些扭曲对自动物体追踪器的影响,并提出了一种解决方案,通过将去噪和低光增强方法整合到基于变压器的物体追踪系统中,提高追踪性能。实验结果表明,用低光合成数据集训练的提出的追踪器优于原始的 MixFormer 和 Siam R-CNN。
Dec, 2023
本研究提出了一种基于 SAM 模型的领域自适应框架 SAM-DA,用于实时夜间无人机跟踪。与 SOTA 领域适应方法相比,SAM-DA 的经济化训练方法可以通过少量的夜间图像实现更好的性能,从而促进了无人机算法的快速验证和部署。
Jul, 2023
本文提出了一种轻量级网络,采用 Siamese Self-Attention Block (SSAB) 和 Skip-Channel Attention (SCA) 模块,提高了模型对全局信息的聚合能力,适用于高分辨率图像,并且基于对低光图像恢复过程的分析,提出了一个优于现有方法的二阶段框架,能够在保持最先进的恢复质量的同时,用最少的计算量恢复一张 UHD 4K 分辨率的图像。
Dec, 2023
本文提出了一种名为 DiCo 学习方法的算法,通过可学习的物理先验即颜色不变性和利用对比学习将监控场景分为前景和背景,从而实现了对夜间监控场景进行高保真度翻译,同时也贡献了一个名为 NightSuR 的监控数据集。
Jul, 2023
我们提出了一种 Swin Transformer 为骨干结构的时空对齐 SUNet(STA-SUNet)模型,用于捕捉低光视频特征并利用它们的时空相关性,通过在新颖统一的 BVI 数据集上进行比较分析,该模型在各个测试数据集上体现出卓越的适应性,获得最高的 PSNR 和 SSIM 值,尤其在极低光条件下效果显著。
Mar, 2024