事件驱动视频的开放软件套件
本文介绍了将事件流转化成基于网格的表示的通用框架,其具有两个主要优势:(i)允许端到端学习输入事件表示,(ii)提供了一个统一记录大多数事件表示的分类法,并识别出新的事件表示方法。通过实验证明,我们的端到端学习事件表示的方法相对于现有技术方法,在光流估计和目标识别上都有约 12%的改进。
Apr, 2019
本文提出了 EVREAL 框架,并针对当前事件感知视觉领域中的基于深度学习的视频重建方法进行了统一的评价,旨在为不同的方法提供比较基础和统一的评价标准,提供对这些方法在不同场景下,挑战性场景和下游任务下性能的宝贵见解。
Apr, 2023
使用事件相机生成连续视频,通过与单一静态彩色图像配对的事件,结合连续的远距离运动建模和基于特征平面综合神经集成模型,实现任意时间帧的预测,从而高效地解决高速运动捕捉问题。
Nov, 2023
本研究提出了一种称为 “Event-based Double Integral (EDI)” 模型的简单且有效的方法,该模型可通过关联事件数据和潜在图像来重建清晰的高帧率视频。实验结果表明,与现有技术相比,EDI 模型和优化方法表现更卓越。
Nov, 2018
本文提出了一种基于事件相机的深度学习方法,通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识,提取边界先验信息,从而达到了恢复运动模糊图像的最佳质量,适用于真实世界的运动模糊问题。
Apr, 2020
利用动态视觉传感器或事件相机进行视频帧插值,结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略,可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。
Jul, 2023
本文利用事件相机记录图像信息的方式,提出了一种端到端的双阶段图像复原神经网络,设计了一个跨模态注意力模块来有效地融合事件与图像特征,同时引入了一种新的对称累积事件表示和事件掩膜门控连接,提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除,实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。
Nov, 2021
我们提出了一种新颖的系统,利用稀疏的解压表示来传达监控视频中的时间冗余。通过将帧视频转码为稀疏的、异步的强度样本,我们引入了内容适应、有损压缩和经典视觉算法的异步形式的机制。我们在 VIRAT 监控视频数据集上评估了我们的系统,并展示了相对于 OpenCV 的 FAST 特征检测速度提高了中位数 43.7%。我们运行与 OpenCV 相同的算法,但只处理接收到新异步事件的像素,而不是处理图像帧中的每个像素。我们的工作为即将到来的神经形态传感器铺平了道路,并且适用于未来的脉冲神经网络应用。
Dec, 2023
本文提出了一个大规模的可见事件跟踪基准测试(VisEvent),由 820 个视频对组成,其中包含以低照度、高速和背景杂波为特点的数据集,将事件流转换为事件图像,并构建了 30 多种基线算法和一个简单但有效的跨模态转换器,以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。
Aug, 2021