Jul, 2023

多尺度视频预训练用于长期活动预测

PDF
TL;DR基于多尺度视频预训练的自监督学习方法 (MVP) 在长期活动预测任务中表现出色，通过学习多个时间尺度上未来视频片段的上下文化表示来提高鲁棒性，相比现有方法，MVP 在视频摘要预测方面相对性能提升超过 20%。
long-term activity forecastingmultiscale video pretrainingself-supervised learningcontextualized representationsvideo summary forecasting
发现论文，激发创造
  • 多时间尺度轨迹预测用于异常人类活动检测

    提出了一种多时间尺度模型，以在不同时间尺度上捕获异常活动，并通过对不同时间尺度的输入姿势轨迹进行未来和过去预测来检测异常活动。

    Aug, 2019

  • 用于长距离视频理解的时间聚合表示

    本文提出了一种灵活的多粒度时间聚合框架，用简单的技术如最大池化和注意力实现了最新的下一步行动和密集预测，并在 Breakfast，50Salads 和 EPIC-Kitchens 数据集上取得了最新的实验结果，且兼容于视频分割和动作识别。

    Jun, 2020

  • 视频动作识别的大规模弱监督预训练

    使用大量网络视频进行预训练能够显著提高三个具有挑战性的公共行动识别数据集的性能，并对弱监督视频行动数据集的构建进行了深入研究。

    May, 2019

  • 重新审视分层方法，用于持久长期视频预测

    本文重新审视了视频预测中的分层模型，通过先估计语义结构序列，再通过视频到视频的转换将结构转化为像素，我们展示了用随机循环估算器模拟离散语义结构空间中的结构及其动态来进行成功的长期预测，通过在汽车驾驶和人类舞蹈等三个数据集上的评估，证明了我们的方法能够在非常长的时间范围内生成复杂的场景结构和运动，并且取得了比现有方法长几数量级的预测时间，代码和完整视频可在此 https URL 获得。

    Apr, 2021

  • 自监督事件分割的感知预测框架

    本文提出了一种自我监督的、基于认知心理的预测学习框架，通过自适应学习来减少循环神经网络中灾难性遗忘的影响，在三个公共数据集上进行了广泛的实验，表明所提出的方法能够优于弱监督和其他非监督学习方法最多达 24％，并具有完全监督方法相媲美的性能。同时，该方法还能够学习高度区分特征，进而提高动作识别的表现。

    Nov, 2018

  • 无监督层次化长期视频预测

    本文提出了一种基于神经网络的 Hierarchical Encoder-Decoder 模型，通过对输入帧进行编码，预测高级别的特征，再通过解码器生成预测图像，同时采用了对抗性损失以训练预测器，该方法可以进行 20 秒预测，并在 Human 3.6M 数据集上取得了更好的结果。

    Jun, 2018

  • 电影理解的长程多模态预训练

    通过观察和提取电影中的长距离关系，我们介绍了一个长距离多模态预训练策略和模型，通过利用电影数据来训练可传输的多模态和跨模态编码器。在 LVU 基准测试中，我们的模型在几个任务上取得了最先进的成果，并且比以前的工作更高效地利用数据。最后，我们通过在五个不同的基准测试中设置了最新的最先进水平来评估我们模型的可转移性。

    Aug, 2023

  • 视频预训练（VPT）：通过观看未标记的在线视频学习行为

    该研究探索了如何利用半监督式模仿学习的方法，在游戏领域中通过预训练行为先验模型来实现强化学习，从而达到人类甚至更高的行为水平。

    Jun, 2022

  • 重新思考长期行动预测的学习方法

    ANTICIPATR 模型使用 segment-level representations 和 video-level representation 进行时间跨度较大的 action anticipation 任务，能够直接预测未来一段时间的行为实例。在 Breakfast、50Salads、Epic-Kitchens-55 和 EGTEA Gaze+ 数据集上得到了较好的结果。

    Oct, 2022

  • 通过分层预测学习生成长期未来

    本论文提出了一种层次化方法，以长期预测未来帧，通过预测输入帧中的高级结构，然后预测其未来的演变，并通过观察过去的单个帧和预测的高级结构来构建未来帧，提高了视频预测的效果，并在人类动作的长期像素级视频预测的任务上展现了较好的结果，超过了现有技术水平。

    Apr, 2017