事件相机数据密集预训练
我们提出了一种新的数据高效的基于体素的自监督学习方法,克服了以往方法的局限性,该方法通过预训练克服了通过将事件序列转换为 2D 图像以利用预训练图像模型,或直接使用成对图像数据进行知识蒸馏以增强事件流学习的方法所带来的对时间信息的牺牲。我们的自监督学习方法不依赖于成对的 RGB 图像,且能够在多个尺度上同时探索空间和时间线索,展现出卓越的泛化性能,在各种任务中显著改善参数更少、计算成本更低。
Mar, 2024
利用卷积神经网络从一对时间图像帧中模拟事件的方法,可克服事件相对于计算机视觉问题的限制。在大规模图像数据集上,通过这种模拟数据,训练用于对象检测和 2D 人体姿势估计的下游网络,能够成功推广到真实事件数据集上。
Dec, 2019
本文介绍了事件相机及其与传统图像传感器的区别,讨论了基于学习的方法如何应用于事件数据,提出了使用循环架构来预测单眼深度的新方法,并在 CARLA 模拟器数据集上进行了预训练并在 MVSEC 上进行了测试,结果表明平均深度误差减小了 50%。
Oct, 2020
本研究提出了一种通用的框架,将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型,以便直接利用事件数据的本质异步性和稀疏性,并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。
Mar, 2020
本文提出一个无需时间片段注释的方法:针对视频中所有感兴趣事件的稠密描述,基于一一对应的假设,将该问题分解为事件字幕和句子定位的双重问题,并提出了一种循环系统来训练模型。通过大量实验结果证明了该方法在视频事件字幕和句子定位方面的有效性。
Dec, 2018
本文提出了一种利用现有的传统相机记录的视频数据生成虚拟事件数据的方法,从而使得神经网络能够使用大量的现有数据集进行训练,从而在物体识别和语义分割领域取得了良好的效果。
Dec, 2019
本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略,可为视频重建网络和光流网络带来 20-40%的性能提升,并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。
Mar, 2020
使用事件相机,提出了一种解决仅使用单个事件相机进行密集三维重建的新方法,结果显示该方法无需使用现有方法的流水线即可直接生成可视化区分的密集三维重建,同时创建了一个使用事件相机模拟器生成的合成数据集,加速了相关研究。
Sep, 2023
基于事件的相机通过无监督域自适应和自监督学习,凭借帧基相机数据中的注释信息来适应未标注的事件数据,并成功实现知识转移,为利用深度学习进行事件视觉任务提供了有效的解决方案。
Jan, 2024
本文介绍了一种基于事件相机的物体检测任务的解决方案,包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数,这些对于更好的训练结果至关重要,而且在需要高动态范围,低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。
Sep, 2020