ICCVAug, 2023

MMVP: 基于动态矩阵的视频预测

PDF
TL;DR该研究引入了一种端到端可训练的双流视频预测框架 —— 基于运动矩阵的视频预测（MMVP），旨在应对视频预测中对象未来运动的推理问题并保持其在帧之间的一致性。通过构建与外观无关的运动矩阵，MMVP 将运动和外观信息分离，从而提高了视频预测的准确性和效率，并减小了模型尺寸。大量实验证明，MMVP 在公共数据集上以小得多的模型尺寸（84% 或更小）显著优于现有系统（PSNR 上大约提高了 1db，UCF Sports）。
发现论文，激发创造
  • 直接多视角多人三维姿态估计

    该研究提出了一种名为 MvP 的多视角姿态变换器，用于从多视角图像中估计多人的三维姿态，该方法可以直接回归多人三维姿态，并使用几种技术来提高准确性，该模型在多项指标上表现优秀。

    Nov, 2021

  • 使用预测运动矢量的优化性质的一维 HEVC 视频隐写分析方法

    基于高效视频编码中运动矢量优化的隐写分析特征，本文提出一种能够准确识别覆盖视频和隐写视频的隐写方案，并且在无需模型训练和低计算复杂度的实际场景中表现高效。

    Aug, 2023

  • SLAMP：随机潜在外观与运动预测

    本文介绍了一种基于历史运动数据的视频预测模型，该模型在考虑动态背景的挑战性真实世界自动驾驶数据集上表现优异，相较于现有的随机模型表现显著提升。

    Aug, 2021

  • 外观和运动条件下的视频预测

    该研究介绍了一种通过给定外观和运动条件生成未来图像的方法，在条件不确定性下有着很好的表现，通过开发创新的条件方案，结合对外观和动作的识别，能够更好地进行视频预测，已在面部表情和人类动作数据集上进行了验证。

    Jul, 2018

  • 利用物体运动预测实现未来视频合成

    利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

    Apr, 2020

  • 深度多尺度视频预测：超越均方误差

    通过卷积网络、对抗训练和特征学习等策略，实现了未来图像预测

    Nov, 2015

  • Motion-I2V: 显式运动建模的一致且可控的图像到视频生成

    Motion-I2V 是一个用于生成一致且可控的图像到视频的新型框架，通过显式的运动建模将图像到视频分解为两个阶段。

    Jan, 2024

  • M-LVC: 学习视频压缩的多帧预测

    该研究提出了一种端到端的学习视频压缩方案，使用多个参考帧来提高数据压缩效率，其中包括运动向量 (MV) 场的计算、残差和 MV 的深度自编码压缩，以及一个利用多个参考帧的 MV 细化网络和残差细化网络。

    Apr, 2020

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 基于堆叠 Transformer 的多模态动作预测

    该论文提出了一种新的基于 transformer 的系统 ——mmTransformer，它使用独立提案集生成和选择提案，并使用基于区域的训练策略诱导所生成提案的多样性。实验表明，该模型在运动预测方面具有最先进的性能，大大提高了预测轨迹的多样性和准确性。

    Mar, 2021