Mar, 2024

面向事件相机的基于流的视觉流压缩

PDF
TL;DR该研究引入了一种基于流的方法，用于实时异步压缩事件流数据的生成，通过利用实时光流估计来预测未来事件，从而显著减少数据传输量，并展示了该方法在不同数据集上实现了平均 2.81 的压缩比，与 LZMA 压缩结合使用可以实现 10.45 到 17.24 的高压缩比。
neuromorphic event-based vision sensorscompressionreal-time asynchronous compressionflow-based methodevent streams
发现论文，激发创造
  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • 神经形态光流与事件相机实时实现

    研究提出了一种结合时间透镜的新型神经网络架构，利用事件视觉和脉冲神经网络技术，以及基于活动和延迟分析的模型简化方法，提高了光流预测的速度并减少了复杂度，同时保持了高精度特性，为实时部署提供了可能性。

    Apr, 2023

  • 使用事件相机进行单张图像的光流估计

    该研究探讨了如何利用事件相机和模糊图像进行光流估计，提出了一种基于事件相机和模糊图像的光流估计算法，并通过实验验证了该算法的优越性。

    Apr, 2020

  • 3D-FlowNet：使用三维表示的事件驱动光流估计

    本文提出了一种改进的 2D 编码事件数据的 3D 表达方法，并介绍了 3D-FlowNet 网络体系结构以进行光流估计，并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明，我们的 3D-FlowNet 具有更好的性能。

    Jan, 2022

  • TimeLens：事件驱动的视频帧插值

    该研究介绍了一种将基于合成和基于流的方法结合使用的新方法 Time Lens，通过采用事件相机技术来消除场景中高动态的影响，并在多个基准测试中提高了 5.21 dB 的峰值信噪比。

    Jun, 2021

  • 脉冲相机的光流估计

    介绍了一种基于深度学习的用于估计高速场景下 spiking 相机的光流的流水线，并引入了一种新的输入表示方法以自适应地去除 spike 流中的运动模糊。通过在名为 SPIFT 和 PHM 的场景中合成的光流数据进行训练，该方法显示出对不同高速场景下的 spiking 数据能够有效地预测结果。

    Oct, 2021

  • 加速事件驱动特征检测与压缩用于监控视频系统

    我们提出了一种新颖的系统，利用稀疏的解压表示来传达监控视频中的时间冗余。通过将帧视频转码为稀疏的、异步的强度样本，我们引入了内容适应、有损压缩和经典视觉算法的异步形式的机制。我们在 VIRAT 监控视频数据集上评估了我们的系统，并展示了相对于 OpenCV 的 FAST 特征检测速度提高了中位数 43.7%。我们运行与 OpenCV 相同的算法，但只处理接收到新异步事件的像素，而不是处理图像帧中的每个像素。我们的工作为即将到来的神经形态传感器铺平了道路，并且适用于未来的脉冲神经网络应用。

    Dec, 2023

  • 无监督神经形态空中监视运动分割

    通过在事件数据和光流信息上利用自监督变换器，我们提出的方法克服了事件驱动运动分割的限制，消除了人工注释的需求，并减少了参数调整问题，实现了在多个数据集上与现有方法相比的最新性能，适用于高动态航空平台上的高清事件摄像头在城市环境中处理各种类型的运动并处理任意数量的移动对象。

    May, 2024

  • 通过帧与事件流的协作实现可靠的物体跟踪

    本文提出了一个大规模的可见事件跟踪基准测试（VisEvent），由 820 个视频对组成，其中包含以低照度、高速和背景杂波为特点的数据集，将事件流转换为事件图像，并构建了 30 多种基线算法和一个简单但有效的跨模态转换器，以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。

    Aug, 2021

  • 基于事件的单帧连续彩色视频解压

    使用事件相机生成连续视频，通过与单一静态彩色图像配对的事件，结合连续的远距离运动建模和基于特征平面综合神经集成模型，实现任意时间帧的预测，从而高效地解决高速运动捕捉问题。

    Nov, 2023