CVPRMar, 2023

一种动态的多尺度体素流网络用于视频预测

PDF
TL;DR采用动态多尺度体素流网络（DMVFN）进行视频预测，避免传统方法存在的大模型和额外输入问题，其核心是一种可微路由模块，通过选择不同的自适应子网络进行输入，比 Deep Voxel Flow 快一倍，且能够超过基于迭代的 OPT 最新技术。
video predictiondeep neural networksdmvfncomputational costsdifferentiable routing module
发现论文，激发创造
  • 动态视频分割网络

    本文提出了 DVSNet 的动态视频分割网络设计，使用了卷积神经网络和决策网络技术，以提高语义分割效率和降低计算工作量。在 Cityscape 数据集上进行的实验结果表明，该网络最高可以达到 70.4% 的 mIoU。

    Apr, 2018

  • ST-MFNet：基于时空多流网络的帧插值

    通过深度学习中的 Spatio-Temporal Multi-Flow 结构实现视频帧插值，采用 3D CNN 模型处理不同的视觉场景，最终应用 ST-GAN 框架进行效果提升，该方法在 14 个最新最优模型中赢得最优结果，PSNR 达到 1.09dB。

    Nov, 2021

  • 语义流：从单目视频中学习动态场景的语义领域

    本文中，我们提出了 Semantic Flow，一种从单 ocular videos 中学习动态场景的神经语义表示。与以往的 NeRF 方法不同，它通过包含丰富的三维运动信息的连续流来学习语义。我们考虑从二维视频帧中提取三维流特征时视线方向上的二维到三维模糊问题，将体积密度视为描述流特征对帧语义贡献的不透明度先验。我们首先学习流网络预测动态场景中的流，并提出流特征聚合模块从视频帧中提取流特征。然后，我们提出流注意模块从流特征中提取运动信息，随后是语义网络输出流的语义 logits。我们将 logits 与视线方向上的体积密度相结合，以在视频帧上监督流特征与语义标签的学习。实验结果表明，我们的模型能够学习多个动态场景，并支持一系列新任务，如实例级场景编辑、语义补全、动态场景跟踪和对新场景的语义适应。可在此 https URL 获取代码。

    Apr, 2024

  • Devon: 用于学习光流的可变形体积网络

    本研究提出了一种新的神经网络模块，即 Deformable Cost Volume，旨在解决光流估计在多分辨率下容易失效和光流位移时会产生变形现象的问题。在此模块的基础上，我们设计了 Deformable Volume Network (Devon) 模型来准确估计多尺度光流，实验证明 Devon 模型能更好的处理小物体的高速运动，并在公共基准测试中达到了与现有最先进方法可比较的结果。

    Feb, 2018

  • 使用深度体素流合成视频帧

    通过融合光流和深度学习的方法，我们提出了一种无需人工监督的视频帧合成技术，通过流动像素值来预测新帧，实验表明该方法在定量和定性上都优于现有技术。

    Feb, 2017

  • 深度多尺度视频预测：超越均方误差

    通过卷积网络、对抗训练和特征学习等策略，实现了未来图像预测

    Nov, 2015

  • MVFNet: 高效视频识别的多视角融合网络

    本文提出了一种基于 2D CNN 骨干网络的新的多视图融合（MVF）模块，用于视频动作识别中的时空建模，并利用可分离卷积实现了高效处理，实验结果表明，该方法在不降低识别精度的情况下降低了模型复杂度。

    Dec, 2020

  • 视频识别的深度特征流

    该研究提出了一种针对视频识别的研究框架，Deep feature flow，使用卷积神经网络在关键帧上运行，通过流场传播其特征图到其他帧，大大提高了视频识别的速度和准确性，同时为实际应用打下坚实的基础。

    Nov, 2016

  • 利用深度学习的光流生成移动物体候选框进行视频物体分割

    本研究提出了一种先进的神经网络结构，通过训练无监督的卷积神经网络对光流进行估计，然后将光流网络的输出渲染到完全卷积 SegNet 模型中，从而准确高效地获取运动目标提案。

    Feb, 2024

  • 基于可变形卷积和粗到细的三维卷积神经网络提升视频帧插值

    本研究提出了一种使用可变形卷积的视频帧插值方法，使用粗到细的 3D CNN 增强多流预测，实验结果表明，该方法的干涉性能优于其他现有算法，最高可以获得 0.19dB 的 PSNR 增益。

    Feb, 2022