Jul, 2024

E2VIDiff：利用扩散先验进行感知事件到视频重建

HTML
PDF
TL;DR我们介绍了一种使用扩散模型进行事件到视频重建的方法，通过利用预训练的扩散模型的图像生成能力和知识，可以在感知质量和重建帧的失真之间取得更好的平衡，从而实现了来自无色事件的彩色、逼真和感知上优越的视频生成。在基准数据集上进行的大量实验证明了我们的方法能够产生各种逼真且忠实于给定事件的帧。
发现论文，激发创造
  • 事件相机实现高速和高动态范围视频

    本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

    Jun, 2019

  • 视频生成的扩散概率建模

    本文提出了一种自回归、端到端优化的视频扩散模型，受到神经视频压缩技术的启发，可用于生成高质量的视频，并提出了可扩展的连续排名概率得分（CRPS）方法，以评估视频的概率预测能力，该方法在自然和仿真视频的多个数据集上比先前方法的感知质量和概率预测有着显著的提高。

    Mar, 2022

  • 基于事件的单帧连续彩色视频解压

    使用事件相机生成连续视频，通过与单一静态彩色图像配对的事件，结合连续的远距离运动建模和基于特征平面综合神经集成模型，实现任意时间帧的预测，从而高效地解决高速运动捕捉问题。

    Nov, 2023

  • 扩散模型生成逼真的视频

    通过扩散建模，我们提出了一种基于转换器的W.A.L.T方法，用于逼真视频生成。我们采用了两个关键设计决策：一是使用因果编码器在统一的潜在空间中联合压缩图像和视频，实现跨模态的训练和生成；二是为了记忆和训练效率，我们使用了一个针对联合空间和时空生成建模的窗口注意力架构。这些设计决策使我们能够在已知的视频(UCF-101和Kinetics-600)和图像(ImageNet)生成基准上达到最先进的性能，而不使用分类器引导。最后，我们还训练了三个模型的串联，用于文本到视频生成任务，包括基本的潜在视频扩散模型和两个视频超分辨率扩散模型，以每秒8帧生成512 x 896分辨率的视频。

    Dec, 2023

  • 基于事件的稀疏事件补全的扩散-细化方法

    通过基于扩散的生成模型以及维护原始数据的时间分辨率等方法，我们提出了一种创新的事件序列补全方法，发掘事件相机的全部潜力，并生成高质量的密集事件，从而有利于目标分类和强度帧重建。

    Jan, 2024

  • E2HQV：通过理论启发的模型辅助深度学习从事件相机生成高质量视频

    提出了一种名为E2HQV的新型E2V范例，该范例利用了模型辅助的深度学习框架，从基于事件相机的基本成像原理中精心推导出的理论驱动的E2V模型，以及为了进一步提高视频帧质量而设计的时间偏移嵌入模块。对真实世界事件相机数据集的综合评估验证了我们的方法的有效性，E2HQV在一些评估指标上超过了其他最先进的方法超过40%。

    Jan, 2024

  • LaSe-E2V：面向语言引导的语义感知事件到视频重建

    使用语言导向的途径，结合条件扩散模型，提出一种名为LaSe-E2V的新框架，实现语义感知的高质量事件到视频重构；通过事件引导的时空关注模块、事件感知的掩膜损失和噪声初始化战略，确保重构的时空一致性和空间连贯性。在三个数据集上进行的广泛实验表明了我们方法的优越性。

    Jul, 2024

  • 事件驱动视频重建的时间残差引导扩散框架

    通过引入新的方法，整合了时间特征、低频纹理和高频事件等条件信息，以指导去噪扩散概率模型(DDPM)生成准确自然的输出，我们的框架在从事件流中重建高质量视频方面表现出色，相比之前的方法减轻了众所周知的伪影和过度平滑问题。

    Jul, 2024

  • 生成中间帧：适应图像到视频模型进行关键帧插值

    本研究解决了在两个输入关键帧之间生成视频序列的难题。通过轻量级微调技术，我们将预训练的大规模图像到视频扩散模型应用于关键帧插值，允许模型生成向后运动的视频。实验结果显示，我们的方法优于现有的扩散基础方法和传统的帧插值技术。

    Aug, 2024

  • 渐变事件：提高事件相机的视觉信息获取能力

    本研究针对现有事件相机在处理振荡光源下信息过载的问题，提出了一种新的梯度事件，显著降低了对振荡光源的敏感性。通过梯度事件的应用，实验结果表明相比传统亮度事件方法，视频重建效果显著提升，从而有效改善了事件相机获取视觉信息的能力。

    Sep, 2024