Mar, 2024

时间倒流：使用图像和事件视频扩散重塑时间

HTML
PDF
TL;DR本文提出了一种利用神经形态事件摄像机和图像到视频扩散模型相结合的方法，通过从单个静态帧预测捕获前瞬间的可能运动，生成能够“倒回”时间的高质量视频，为计算机视觉、计算摄影和生成建模的交叉研究开辟了新的研究方向，为捕捉错过的时刻和提升未来消费级摄像机和智能手机的能力提供了具有前瞻性的解决方案。
发现论文，激发创造
  • 使用事件和图像帧进行非同步光度特征跟踪

    该论文介绍了一种利用事件相机和标准相机的互补性来实现低延迟跟踪视觉特征的方法，通过提取标准相机的特征和利用事件相机的低延迟更新，该方法能够在各种场景下产生比现有技术更准确、更长的特征跟踪。

    Jul, 2018

  • 从事件相机到视频：将现代计算机视觉引入事件相机

    研究使用成熟的计算机视觉技术对从事件数据中重建的视频进行对象分类和图像重建，从而充分发挥事件相机的优异特性。

    Apr, 2019

  • 使用异步“事件”进行运动估计更好

    该论文介绍了一种基于神经网络的异步处理Event-based Camera事件流的方法，利用前一时刻的动态信息和灰度帧的关键特征，提取事件中的动态信息，相较现有同类研究结果表现优异。

    Apr, 2019

  • 事件相机实现高速和高动态范围视频

    本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

    Jun, 2019

  • TimeReplayer: 发掘事件相机在视频插值中的潜力

    本篇论文提出了TimeReplayer算法，利用event camera和commodity camera的视频数据，在无需大量高速训练数据的情况下通过无监督循环一致性学习方式，实现了视频插值和外推，具有超前的效果。

    Mar, 2022

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合RGB信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • 基于事件的稀疏事件补全的扩散-细化方法

    通过基于扩散的生成模型以及维护原始数据的时间分辨率等方法，我们提出了一种创新的事件序列补全方法，发掘事件相机的全部潜力，并生成高质量的密集事件，从而有利于目标分类和强度帧重建。

    Jan, 2024

  • 事件相机的时间映射摄影

    该研究介绍了一种使用静止事件相机在静态场景中实现事件转换为密集强度图像的方法，并通过时间映射神经网络将时序矩阵转换为强度帧。实验证明该方法在动态范围、细节和灰度分辨率方面表现出卓越的性能，并比其他方法在下游计算机视觉任务上表现出更好的性能。

    Mar, 2024

  • E2VIDiff：利用扩散先验进行感知事件到视频重建

    我们介绍了一种使用扩散模型进行事件到视频重建的方法，通过利用预训练的扩散模型的图像生成能力和知识，可以在感知质量和重建帧的失真之间取得更好的平衡，从而实现了来自无色事件的彩色、逼真和感知上优越的视频生成。在基准数据集上进行的大量实验证明了我们的方法能够产生各种逼真且忠实于给定事件的帧。

    Jul, 2024

  • 渐变事件：提高事件相机的视觉信息获取能力

    本研究针对现有事件相机在处理振荡光源下信息过载的问题，提出了一种新的梯度事件，显著降低了对振荡光源的敏感性。通过梯度事件的应用，实验结果表明相比传统亮度事件方法，视频重建效果显著提升，从而有效改善了事件相机获取视觉信息的能力。

    Sep, 2024