ICMLJun, 2024

基于随机帧预测的视觉表示学习

PDF
TL;DR通过预测未来帧进行图像表示的无监督学习是一个有前景的方向，但仍然面临挑战。为了解决这一挑战，在本文中，我们重新审视了学习捕捉帧预测的不确定性的随机视频生成的思想，并探索了其在表示学习中的有效性。我们设计了一个框架，训练一个随机帧预测模型，学习帧之间的时间信息。此外，为了学习每一帧中的密集信息，我们引入了一个辅助的带蒙版图像建模目标，以及一个共享的解码器架构。我们发现这种架构能够以协同和高效的方式结合两个目标。我们在视频标签传播和基于视觉的机器人学习领域展示了我们框架的有效性，如视频分割、姿态跟踪、基于视觉的机器人运动和操作任务等。项目网页提供了代码：this https URL。
发现论文，激发创造
  • 使用学习的先验知识生成随机视频

    本文提出一种无监督视频生成模型，该模型学习给定环境中的不确定性先验模型，通过从先验分布中取样并与未来帧的确定性估计相结合来生成视频帧。该方法方便易行，能够在各种数据集上进行端到端训练，并且即使在很多帧进入未来的情况下，样本生成的结果也经过了充分的测试且清晰度较高，比现有的方法更具优势。

    Feb, 2018

  • 随机潜在残差视频预测

    介绍了一种基于残差更新规则的新型随机时间模型，可用于视频预测，并在复杂数据集上胜过先前的最先进方法。

    Feb, 2020

  • 随机对抗视频预测

    本文探讨了两种机器学习模型用于生成视频未来帧预测的方法，并将它们相结合得到更真实、多样性更好的预测结果。

    Apr, 2018

  • 视频场景理解的概率未来预测

    本文提出了一种新颖的深度学习架构，用于从视频中进行概率未来预测。该模型可以预测城市场景中的未来语义、几何和运动，并将此表示用于控制自动驾驶车辆。

    Mar, 2020

  • 大规模随机循环神经网络的高保真视频预测

    该研究通过进行大规模的实证研究，针对视频帧预测问题，提出了一种不同于以往手工设计架构的方法：尽可能地降低归纳偏差，同时最大化网络容量，该方法表现良好并在三个不同数据集上进行了验证：建模物体交互、建模人类运动和建模汽车驾驶。

    Nov, 2019

  • 随机变分视频预测

    本文的目的在于提出一种名为 SV2P 的模型，该模型在真实世界的视频数据中获得了可靠的、有多个可行未来的预测结果，相比于传统的视频预测模型，我们的模型明显提升了预测效果。

    Oct, 2017

  • 视觉动力学：基于分层交叉卷积网络的随机未来生成

    该研究提出采用概率建模的方法，基于图像和动态信息，使用交叉卷积网络结构来合成多个可能的未来帧，并能够实现物体运动的真实感合成和学习出物体的外观与运动的紧凑编码。同时，提出了可视类比和视频外推等应用方案。

    Jul, 2018

  • 结构与运动的随机视频预测

    本文提出了将视频观察结果分解为静态和动态部分，分别建模于场景结构和车辆主体运动、动态物体运动，来分离结构和运动的影响，从而更好地预测复杂驾驶场景中的未来运动。

    Mar, 2022

  • 重新审视分层方法，用于持久长期视频预测

    本文重新审视了视频预测中的分层模型，通过先估计语义结构序列，再通过视频到视频的转换将结构转化为像素，我们展示了用随机循环估算器模拟离散语义结构空间中的结构及其动态来进行成功的长期预测，通过在汽车驾驶和人类舞蹈等三个数据集上的评估，证明了我们的方法能够在非常长的时间范围内生成复杂的场景结构和运动，并且取得了比现有方法长几数量级的预测时间，代码和完整视频可在此 https URL 获得。

    Apr, 2021

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019