ICLRMay, 2023

SlotDiffusion: 以扩散模型实现以物体为中心的生成建模

PDF
TL;DR本研究聚焦于提高物体图像生成的关键点到图像解码，为了达到高质量的视觉生成，提出了一种基于对象中心潜在扩散模型 SlotDiffusion，该模型在六个数据集上表现优异，并可用于现有的用于视频预测质量和下游时间推理任务的对象中心动力学模型，同时还展示了该模型和自监督预训练图像编码器在非约束性现实数据集上的可扩展性。
object-centric learningslot-based representationsunsupervised object discoverygenerative modelingslotdiffusion
发现论文，激发创造
  • DiffusionSeg: 适应扩散的非监督物体发现

    本文提出了 DiffusionSeg 框架，利用预训练和扩散模型实现无监督物体发现，并采用合成 - 利用两阶段策略来缓解数据不足和结构差异问题，采用反演技术将图像映射回扩散特征，通过大量实验验证了该方法的优越性。

    Mar, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 基于对象的学习与槽混合模块

    本研究提出一种基于高斯混合模型的可学习聚类方法，将物体中心化情景建模，显著优于 Slot Attention 方法，在集合属性预测任务中取得了最先进的效果。

    Nov, 2023

  • 通过潜在扩散模型探索上下文分割

    通过使用代表性的生成模型 —— 潜在扩散模型（LDM），我们从新的角度探索了上下文分割问题，提出了两种元架构和相应的输出对齐和优化策略。我们通过全面的消融研究发现，分割质量取决于输出对齐和上下文指令。实验证明，我们的方法在挑战性的上下文分割任务中取得了与专业模型或视觉基础模型相当甚至更强的结果，证明了潜在扩散模型也可以达到足够好的效果。

    Mar, 2024

  • 基于插槽注意力的目标中心学习

    本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

    Jun, 2020

  • LayoutDiffusion：可控的布局到图像生成扩散模型

    本文提出了一种名为 LayoutDiffusion 的扩散模型，通过构建结构图像块来解决布局与图像的多模态融合的难点，并利用 Object-aware Cross Attention 实现相对精确的分区和位置敏感的空间信息控制，实现比现有方法更高的生成质量和更高的可控性。

    Mar, 2023

  • WildFusion：学习视角空间中的三维感知潜空扩散模型

    基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

    Nov, 2023

  • 面向对象的扩散技术在视频编辑中的高效应用

    通过对扩散逆变和交叉帧注意力进行简单而有效的修改，本文提出了对象中心扩散（OCD）技术来大幅减少记忆和计算成本，并在合成质量相近的情况下实现了高达 10 倍的延迟降低。

    Jan, 2024

  • SlotGNN：无监督发现多物体表示和视觉动态

    利用无监督技术从视觉数据中学习多对象动态是一项具有挑战性的任务。本文提出一种新的框架，通过机器人交互学习可以学到稳健的对象表示的两个新架构：SlotTransport 用于从 RGB 图像中发现对象表示，SlotGNN 用于从 RGB 图像和机器人交互中预测它们的集体动态。

    Oct, 2023

  • StructDiffusion：面向物体的扩散算法，用于新型物体的语义重组

    本文介绍了如何使用扩散模型和面向对象的变压器构建物理有效的结构，以便在多步骤的三维规划任务中创建复杂的配置。实验结果表明，该方法相对于现有的多模态变压器模型，改进了 16％的成功率，同时扩展了一种多任务模型来产生更广泛的不同构型。

    Nov, 2022