Jan, 2019

MONet: 无监督场景分解与表示

PDF
TL;DR该论文介绍了 Multi-Object Network 模型，它可以将复杂的 3D 场景拆分为对象和背景等语义组件，从而更好地表示场景中的抽象要素和关系，提高数据效率和转移性能。
decompositionsentitiesscenariosmulti-object network3d scenes
发现论文，激发创造
  • VONet：使用并行的 U-Net 注意力与对象逐帧的序列 VAE 进行无监督视频对象学习

    VONet 是一种无监督视频物体学习方法，通过采用 U-Net 架构和并行的注意力推理过程生成关注掩模，并利用物体级的顺序 VAE 框架增强每个掩模在连续视频帧上的时间一致性，结合表达丰富的基于变压器的解码器，成为跨五个 MOVI 数据集（包括复杂性不同的视频）的领先无监督物体学习方法。

    Jan, 2024

  • 多对象表示学习中物体分割机制的消融研究

    多对象表示学习通过多个对象的组合来表示复杂的现实世界视觉输入。本文通过对 MONet 进行割裂研究，发现 VAE 正则化损失对分割性能没有影响，而其他损失函数有影响。基于这一结果，我们假设将注意力掩模与相应的潜在向量相匹配的图像区域的注意力最大化是重要的，通过评估具有与该假设相同机制的新损失函数，我们证实了这一假设。

    Oct, 2023

  • 多人动作捕捉的神经场景分解

    本文提出一种基于自监督学习的神经场景分解（NSD）方法，通过对多视角数据的学习，用三层信息表示人体姿态，其中包括边界框和相对深度，实例分割掩码和个体化外观信息以及 3D 姿态信息，该方法能够为小规模数据集训练 3D 姿态估计网络提供帮助。

    Mar, 2019

  • SIMONe：通过无监督视频分解实现视角不变、时间抽象的物体表示

    通过无监督变分方法，我们提出了一种模型 ——SIMONe，能够抽取场景的组成结构，学习并表示场景中各个物体的不依赖于视角的属性，并且可以实现视角合成和实例分割。

    Jun, 2021

  • 无监督的对象导向场景表示：基于空间注意力和分解的方法

    本文提出了一种称为 SPACE 的生成潜变量模型，通过并行的空间注意力可以同时实现前景物体的因式分解表示以及解析复杂形态的背景细节，解决了以往模型中可扩展性有限的问题，从而更好地模拟真实场景。

    Jan, 2020

  • 从多个视角学习多对象场景的基于对象的表征

    MulMON 基于多视角学习，旨在实现准确和脱耦的多对象场景的目标结构化，克服了单视角方法在物体场景表示中遇到的问题。

    Nov, 2021

  • 使用无监督深度学习进行早期视觉概念学习

    本文提出了一种基于无监督学习、从神经科学中获得灵感的方法，利用变分自编码器对图像数据进行学习，从而获得解耦表示。该方法可以使神经科学的研究成果得以应用到实际中，同时还有零样本推理和直观理解的优点。

    Jun, 2016

  • GENESIS：基于物体中心的隐式表示生成场景推理和采样

    本文介绍一种名为 GENESIS 的三维视觉场景对象生成模型，通过捕捉场景组件之间的关系，能够分解和生成场景，并在公开数据集上进行了性能评估和半监督学习。

    Jul, 2019

  • 使用学习编码的场景表示进行单目密集语义重建

    该研究提出了一种基于变分自编码器的语义表示方法，实现了对三维语义地图的实时增量建立与空间一致的语义标签融合，可以用于单目关键帧语义映射系统，并能够实现对位姿、几何和语义的联合优化。

    Mar, 2019

  • 基于视频序列的无监督物体表示基准测试

    研究了四种基于物体的表征方法的感知能力，设计了一个基准测试集来评估物体检测、分割和跟踪的基本感知能力，并发现具有非约束潜在表征的架构比基于空间变换器的架构具有更强的物体感知能力。

    Jun, 2020