条件运动传递的自监督学习

CVPRMar, 2019

Self-Supervised Learning via Conditional Motion Propagation

Xiaohang Zhan, Xingang Pan, Ziwei Liu, Dahua Lin, Chen Change Loy

TL;DR本篇研究提出了一种新的基于条件运动传播和稀疏光流技术的自监督学习范式，能够有效地学习视觉表征，并在语义分割、实例分割以及人体解析等多个任务上实现最先进的自监督学习表现，还能实现半自动像素级标注。

Abstract

Intelligent agent naturally learns from motion. Various self-supervised algorithms have leveraged motion cues to learn effective visual representations. The hurdle here is that motion is both ambiguous and complex, rendering previous works either suffer from degraded learning efficacy, or resort to strong assumptions on object motions. In this work, we desig

self-supervised learning conditional motion propagation visual representation semantic segmentation human parsing

发现论文，激发创造

通过上下文和运动解耦实现自监督视频表示学习

本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

Apr, 2021

优化预训练动作模型

使用自我监督训练改进现有的有监督模型，通过将数据标记和训练分为两个不同的阶段，并结合简单的技术来稠密化和重平衡伪标签，从而在实际视频中实现可靠的增益，适用于短期（基于流）和长距离（多帧）像素跟踪。

Jan, 2024

自主驾驶的自监督支柱运动学习

本文提出了一种基于点云数据和自监督学习的动态估计框架，旨在高效精确地估计自动驾驶汽车与其他动态交通参与者的相对运动状态，并在实验中表现出与有监督方法相当的竞争力。

Apr, 2021

具有空间和时间一致性约束的自监督非特定类别运动预测

无标签 LiDAR 点云的自监督运动预测方法证明在运动行为感知、自动驾驶等领域中表现出显著的优势。

Mar, 2024

自监督学习的动作捕捉

本文提出了一种基于学习的单摄像头动作捕捉模型，通过神经网络权重优化预测 3D 形状和骨架配置，结合合成数据的强监督和可微渲染的自监督，实现了在测试时间自适应，并展示了比传统优化方法更好的效果。

Dec, 2017

自我监督学习的跨像素光流相似度

采用动态光流来监督静态图像的表示，通过学习嵌入像素以达到其光流向量之间的相似性，我们设计了一种无需手工标注的学习卷积神经图像表示的新方法，这个新方法优于以往的运用动态光流学习卷积神经网络的方法，并在语义分割等领域首屈一指。

Jul, 2018

静态图像中的自监督运动学习

本文提出了一种自监督学习的方法 —— 通过分类静态图像生成的伪运动来学习运动信息，从而识别运动区域并改善动作识别的性能。在下游数据集上不需要调整参数即可发现大运动区域。

Apr, 2021

小规模视频识别的运动增强自训练

本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。

May, 2021

自主驾驶中基于运动的无监督感知与预测

本文提出一种使用自学生成流技术的框架，自动学习行驶中的自由运动的物体，以替代在自主驾驶系统中昂贵的人工标注，实现更广泛、准确、自主的交通参与者识别和动作预测。

Oct, 2022

通过预测动态和外观统计信息进行视频自监督时空表示学习

在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

Apr, 2019