ICLRMar, 2019

无监督发现部件、结构和动态

PDF
TL;DR本文提出了基于无标注视频的 “物体部件、结构和动态模型”（PSD）模型，可以同时学习层次化、解耦合的物体表示以及物体部件的动态模型，并且在多个真实和合成数据集上都表现良好，实现了物体部件的分割、层次结构的构建以及运动分布的捕捉。
object partshierarchical structurepsd modelunlabeled videosmotion distributions
发现论文，激发创造
  • 从视频中无监督学习物体结构和动力学

    本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

    Jun, 2019

  • 从视频中无监督地发现 3D 物理对象

    本文研究了无监督的物体发现问题。引入了 POD-Net 模型，通过物理学原理，从视频中精确提取出各个物体的 3D 几何和位置，同时推断物体的属性，从而可以用于推断物理事件。

    Jul, 2020

  • 通过自监督静态 - 动态解缠缚，从单幅图像中查看 3D 物体

    本文提出一种无监督学习方法，通过观察未标记的多视角视频，学习将一个包含多种物体的复杂场景的单幅图像观察映射到一个三维神经场景表示，可以将该表示分解为可移动和不可移动的部分，并通过神经渲染进行自监督训练，从而实现基于对象的三维表示、新视角合成、实例分割和三维边界框预测等多种下游任务，并通过对象操作（如删除、插入和刚体运动）实现场景编辑。

    Jul, 2022

  • 从单个 RGB 图像学习无监督 3D 物体的分层部件分解

    该研究提出了一种新的方法，可以同时恢复 3D 对象的几何形状和基于部分的分解，以及它们之间的潜在层次结构，实验证明考虑部分的组织确实有助于推理三维几何。

    Apr, 2020

  • 物体中心视觉预测的物理动态学习

    本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

    Mar, 2024

  • 三维关节对象无监督姿态感知部件分解

    本文提出了一种 PPD 方法，针对具有机械关节的人造关节物体，考虑零件姿态，利用类似的类别先前知识，实现对零部件的非原始隐式表示的无监督学习和零件姿态作为单帧形状监督下的关节参数的无监督学习，提高了关节物体的一致部件分解率。

    Oct, 2021

  • 低维物体运动多目标发现

    本文提出一种基于像素几何和物体运动模型的运动预测方法，通过将图像分为运动一致的区域并利用深度构建最佳匹配的流场基础来减少从单个图像重建流场的不确定性，并在场景结构和物体运动建模方面取得了最新的结果，同时对预测深度图的评估显示出可靠的单眼深度估计性能。

    Jul, 2023

  • 结构与运动的随机视频预测

    本文提出了将视频观察结果分解为静态和动态部分，分别建模于场景结构和车辆主体运动、动态物体运动，来分离结构和运动的影响，从而更好地预测复杂驾驶场景中的未来运动。

    Mar, 2022

  • 学习语义感知动态视频预测

    该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

    Apr, 2021

  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018