eTraM:基于事件的交通监测数据集
事件相机在智能交通系统中具有潜力,可以提供高时空分辨率和动态范围,消除运动模糊,更易于夜间识别物体。然而,事件相机缺乏颜色和纹理,因此需要与传统 rgb 相机进行数据融合和外部校准。本研究通过聚类方法扩展了无标定的校准方法以处理多个移动物体,并提出了融合策略。实验证明了校准方法的有效性,并通过事件相机数据融合方法在白天和夜间中提高了物体检测性能。
Jan, 2024
多目标跟踪在交通视频中是一个关键的研究领域,通过利用先进的机器学习算法,可以提高交通监控的准确性并促进道路安全措施。然而,现有的交通视频多目标跟踪数据集通常具有有限的实例或专注于单个类别,无法很好地模拟复杂交通场景中遇到的挑战。为了填补这一空白,我们介绍了 TrafficMOT,一个广泛的数据集,旨在涵盖具有复杂场景的多种交通情况。通过使用三种不同的设置来验证 TrafficMOT 所呈现的复杂性和挑战:完全监督、半监督和最近强大的零样本基础模型 Tracking Anything Model(TAM)。实验结果突出了该数据集的内在复杂性,强调其在交通监控和多目标跟踪领域推动发展的价值。
Nov, 2023
本研究介绍了用于事件相机的第一个非常大的检测数据集,包含超过 39 小时的汽车记录,涵盖城市,高速公路,郊区和乡村场景等多个不同的驾驶场景和各种天气和照明条件。该数据集的可用性将有助于事件感知视觉任务的主要进步,例如目标检测和分类,并期望在自监督学习方法等其他任务中获得好处。
Jan, 2020
我们提出了一种针对夜间动态场景的新方法,利用事件相机进行成像。我们通过时间尾随特性和空间非均匀分布的观察,构建了一个夜间事件重建网络,包括学习能力的事件时间戳校准模块以对齐时间尾随事件,和一个非均匀光照感知模块以稳定时空事件分布。通过构建配对的真实低光事件数据集,我们的方法在视觉质量和泛化能力上都优于现有方法。
Apr, 2024
我们提出了 TRAM 方法,一个两阶段的方法,从野外视频中重建人类的全局轨迹和运动。通过增强 SLAM 以在存在动态人类的情况下恢复相机运动,并利用场景背景来推导运动尺度。利用恢复的相机作为度量尺度参考帧,我们引入一个视频转换模型 (VIMO) 来回归人类的运动。通过组合这两个运动,我们实现了对世界空间中 3D 人体的准确恢复,相对于之前的工作,全局运动误差减少了 60%。
Mar, 2024
本文介绍了一种基于事件相机的物体检测任务的解决方案,包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数,这些对于更好的训练结果至关重要,而且在需要高动态范围,低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。
Sep, 2020
本文介绍了一个新的被动感知方式 —— 事件相机,可以完成多种 3D 感知任务,并提供了一个涵盖各种环境和照明水平的大型数据集,包括了事件流、灰度图像和 IMU 读数,并提供了真确的姿势和深度图像。同时还提供了来自基于框架的立体相机系统的同步灰度图像和 IMU 读数的比较。
Jan, 2018
提出了一个新的长期和大规模帧事件单目标跟踪数据集(FELT),该数据集包含 742 个视频和 1,594,474 个 RGB 帧和事件流对,已成为迄今为止最大的帧事件跟踪数据集。通过引入现代 Hopfield 层到多头自注意力块中的联想记忆 Transformer 网络来融合 RGB 和事件数据,验证了模型的有效性。
Mar, 2024
通过引入不同的专家和适当的路由,我们提出了一种名为 TESTAM 的新型深度学习模型,该模型通过三个专家对时间建模、时空建模和动态图中的动态时空依赖建模来分别建模循环和非循环的交通模式,并且在三个公共交通网络数据集上的实验结果表明 TESTAM 在指示和建模循环和非循环交通方面取得了更好的效果。
Mar, 2024