Jun, 2021

SIMONe：通过无监督视频分解实现视角不变、时间抽象的物体表示

PDF
TL;DR通过无监督变分方法，我们提出了一种模型 ——SIMONe，能够抽取场景的组成结构，学习并表示场景中各个物体的不依赖于视角的属性，并且可以实现视角合成和实例分割。
compositional structureunsupervised variational approachlatent representationssimoneview synthesis
发现论文，激发创造
  • 无监督视频分解基于时空迭代推理

    该研究提出了一种新的时空迭代推理框架，用于联合建模复杂的多物体表示和帧间的显式时间依赖关系，在后验精化中利用 2D-LSTM 和时间条件推理和生成，以提高场景分解、分割和预测的能力，即使没有颜色信息也有高准确度。

    Jun, 2020

  • 从多个未指明的视点无监督学习构造场景表示

    提出了一种基于深度生成模型的方法，通过将潜在的场景表示分为与视角无关 和 视角相关部分来学习多个未指定视角的组合场景表示，并采用神经网络来迭代集成不同视角中包含的信息。实验表明该方法能够有效地从多个未指定视角学习.

    Dec, 2021

  • 多视角非监督式物体中心学习

    通过提出一种深度生成模型，将潜在表示分为视点独立部分和视点相关部分，从多个未指定的视点学习构成性场景表示。在实验中，该方法能够有效地学习来自多个未指定视点的信息。

    Jan, 2024

  • MONet: 无监督场景分解与表示

    该论文介绍了 Multi-Object Network 模型，它可以将复杂的 3D 场景拆分为对象和背景等语义组件，从而更好地表示场景中的抽象要素和关系，提高数据效率和转移性能。

    Jan, 2019

  • 基于视频序列的无监督物体表示基准测试

    研究了四种基于物体的表征方法的感知能力，设计了一个基准测试集来评估物体检测、分割和跟踪的基本感知能力，并发现具有非约束潜在表征的架构比基于空间变换器的架构具有更强的物体感知能力。

    Jun, 2020

  • GENESIS：基于物体中心的隐式表示生成场景推理和采样

    本文介绍一种名为 GENESIS 的三维视觉场景对象生成模型，通过捕捉场景组件之间的关系，能够分解和生成场景，并在公开数据集上进行了性能评估和半监督学习。

    Jul, 2019

  • 可扩展的三维对象为中心学习的变异推断

    我们提出了一种可伸缩的无监督面向对象中心的 3D 场景表示学习方法，通过学习在局部对象坐标系统中视角不变的 3D 对象表示，从而推断和维护 3D 场景的对象中心表示，并优于以前的模型。

    Sep, 2023

  • AUTO3D: 通过无监督学习的变分视角和全局 3D 表示进行新颖视图综合

    本论文主要探讨基于学习的单个或有限 2D 图像的新视角合成，提出了一个端到端可训练的条件变分框架，通过空间相关模块从外观描述图像中提取全局的 3D 表示形状、纹理和以观察者为中心的坐标系原点等，实现无需显式 3D 重建即可隐含 3D 理解。

    Jul, 2020

  • 将视觉与运动联系起来，实现自监督的以物为中心的感知

    本研究采用自监督的物体中心视觉模型，只使用 RGB 视频和车辆姿态作为输入，实现了物体分解，并在 Waymo 开放感知数据集上展示了正面的结果。

    Jul, 2023

  • 从观察世界中学习内在图像分解

    本文尝试用图像序列的方法学习单视角内在图像分解，并利用多图像信息进行训练，未使用任何基准数据集。我们提出了一个基于此想法的新的学习框架，并介绍了新的 loss 函数，该方法在多个数据集上具有良好的泛化性能。

    Apr, 2018