CVPRJul, 2017

视频中动作、前景和背景特征的分离

PDF
TL;DR本文介绍了一种非监督框架来提取视频表征的语义丰富特征，并提出了一个深度卷积神经网络来分离运动、前景和背景信息。实验结果表明，该网络可以在视频中成功分割前景和背景，并基于分离的运动特征更新前景外观。此处提供的预训练方法可以优于随机初始化和自动编码器预训练，促进了区分性分类任务。
发现论文，激发创造
  • 人体视频生成中增强逼真度的前景与背景动作解耦

    通过采用不同的运动表示方法，我们引入了一种可同时学习前景和背景动力学的技术，该技术通过把它们的运动分离开来。我们的模型在真实世界的视频训练中生成了前景和背景动作之间协调的视频，并通过引入全局特征来扩展视频生成到更长的序列，以确保平滑的连续性。这种方法在产生展示前景动作和反应背景动态的视频方面优于之前的方法。

    May, 2024

  • 通过观察物体运动学习特征

    本文介绍了一种基于无监督学习的视觉特征提取方法，采用运动分割技术自动从视频中得到图像分割信息进行卷积神经网络训练，结果在涉及少量目标训练样本的场景下显著优于现有无监督学习方法。

    Dec, 2016

  • 通过逐帧离散特征的自监督提取人体动作结构

    本文提出了一种编码器 - 解码器模型，用于自我监督方式提取以逐帧离散特征表示的人体动作的结构。

    Sep, 2023

  • 视频中物体发现作为前景运动聚类

    本文提出了一种通过前景运动聚类来为目标发现提供密集分割掩模的方法，利用像素轨迹循环神经网络学习前景像素轨迹的特征嵌入，并通过对像素轨迹进行聚类建立视频帧之间前景对象掩模之间的对应关系，在常用的运动分割数据集上实现了最新的性能表现。

    Dec, 2018

  • 基于两阶段卷积神经网络的背景重构和前景分割

    本文提出了一种端到端的两阶段深度卷积神经网络框架，用于视频序列中的前景分割，该方法利用背景图像的语义和先验知识以及前景和背景的先验视觉知识，与 CDNet 2014 相比，其性能提高了 4.9％。

    Jul, 2017

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017

  • 发现可移动的物体

    本文针对对象发现这一问题，通过选择动态对象并使用自编码器提取图像特征并加入来自运动分割的弱学习信号，成功地从复杂场景中分离出运动和静止的动态对象，相较于其它抽象特征的方法在 KITTI 数据集上有更好的表现。

    Mar, 2022

  • 使用学习的分层特征进行视频跟踪

    该论文提出了一种基于层次特征学习的视觉目标跟踪方法，通过使用两层卷积神经网络实现对多样化运动模式的特征离线学习，并通过域自适应模块实现对具体目标的个性化在线特征调整，提高了在复杂运动转换和外观变化情况下的视觉目标跟踪性能。

    Nov, 2015

  • 视频自编码器：静态三维结构和运动的自我监督解缠

    本论文提出了一个自监督学习的视频自编码器，能够从视频中学习出 3D 结构和相机姿态的解耦表示，通过重组这些表示来实现诸如新视角合成、相机姿态估计以及运动跟踪的任务。

    Oct, 2021

  • 活现模糊瞬间

    设计了一个端到端的自动编码器网络来提取运动模糊图像中的视频信息，生成具有时间上连续性的清晰图片序列，同时实现了实时的单张图像去模糊操作，结果表明我们的方法在精度、速度和紧凑性方面均优于现有方法。

    Apr, 2018