关节动画的运动表示

Apr, 2021

Motion Representations for Articulated Animation

Aliaksandr Siarohin, Oliver J. Woodford, Jian Ren, Menglei Chai, Sergey Tulyakov

TL;DR本文提出了一种新的运动表示方法，能够自动分离物体中的不同部分，并追踪它们的运动，从而可以更好地进行动画制作。该方法基于完全无监督的学习，提取出有意义且一致的区域表示物体的位置、形状和姿态，适用于各种物体，并且性能超过现有的方法。

Abstract

We propose novel motion representations for animating articulated objects consisting of distinct parts. In a completely unsupervised manner, our method identifies object parts, tracks them in a driving video, and

motion representations articulated objects unsupervised learning object tracking animation

发现论文，激发创造

利用空间连续的神经隐式表示学习关节物体的分部运动

通过神经网络模型，本研究提出一种新的框架来明确分解关节物体的部分运动，通过预测部分表面上的点的转换矩阵，使用空间连续的神经隐式表示来平滑地建模部分运动，在对不同类别的关节物体进行实验的数量化和质量化结果证明了我们的方法的有效性。

Nov, 2023

自监督神经骨骼形态和外貌模型

本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

May, 2022

图像动画的一阶运动模型

本文描述了一种基于自监督学习的框架，可以将一个源图像中的对象根据驱动视频的运动进行动画处理，而不需要使用任何注释或有关特定对象的先前信息。使用一个经过训练的视频集合，我们的方法可以应用于此类对象的任何对象。

Feb, 2020

观察移动：无监督发现用于再定位关节的 3D 关节点

通过从多个视角观察未被注释的关节的外表和结构学习，实现姿势控制和连通性的自动识别，使渲染出的物体更真实。

Dec, 2021

使用轨迹对的方式进行关节动作探索

本文提出了一种无监督方法来发现高度关节化对象（如野生老虎）的行为特征运动模式，从而实现行为视频的切分和聚类。通过分析大量顺序轨迹对的相对位移，本文发现了一种连续的运动模式，并使用运动轨迹对描述符进行聚类分析，表明该方法比现有的行为轨迹描述符表现更为优越，可将不受约束的动物视频分割成包含单个行为的时间段。

Nov, 2014

从视频中无监督学习物体结构和动力学

本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

Jun, 2019

通过有条件的视图合成实现无监督的关节物体建模

通过使用第一次观测的隐式模型学习对象的几何和外观部分，并通过渲染第二次观测来蒸馏部分分割和关节运动，我们提出了一种新的无监督方法来学习刚性部分组成的关节对象的姿势和部分分割。此外，为了解决部分分割和关节运动的联合优化中的复杂性，我们提出了基于体素网格的初始化策略和解耦优化过程。与先前的无监督方法相比，我们的模型性能显著提高，且适用于具有多个部分的对象，且对后续观测可以高效地进行少数视图的操作。

Jun, 2024

PARIS: 用于关节目标的部件级重建与运动分析

给定两个静态关节状态下物体的多视图图像，我们提出了一种自我监督的、端到端的架构 PARIS，通过学习部分级隐式形状和外观模型，联合优化运动参数而无需任何 3D 监督、运动或语义标注，以解决关节物体的同时部分重建和运动参数估计的问题。

Aug, 2023

利用群表示理解图像运动

提出了一个以变换的群属性为基础的运动模型，使用它训练了一个图像运动的表示方法。使用此方法训练的深度神经网络对合成的 2D 序列和真实世界的车辆运动序列都捕捉到了运动特征；在车辆运动的背景下，此方法提取了用于定位、跟踪和测距的信息。这一表示方法在很难获取明确标签的情况下学习运动非常有用。

Dec, 2016

学习隐式表示以重建关节式物体

利用物理约束为我们建立的隐式表示提供了规范项，通过迭代估计隐式和显性表示，我们证明了我们的方法在标准视频数据集上优于现有技术。

Jan, 2024