Jun, 2022

物体场景表示变换器

PDF
TL;DR本文提出 Object Scene Representation Transformer (OSRT)，一种 3D 中心模型，通过新视角综合技术，能够在无监督学习中从复杂场景中学习到基于对象及其几何形状的 3D 一致分解表示，且其轻量级参数化和新的 Slot Mixer 解码器让其在合成渲染方面比现有方法快多个数量级。
3d-consistent decompositionsobject scene representation transformerneural networksview synthesiscompositional rendering
发现论文，激发创造
  • 场景表征变换器：通过隐式场景表征进行无几何新视图合成

    该论文提出了一种名为 SRT 的方法，用于从少量 RGB 图像中推断出 3D 场景表示，并在单个前向传递过程中合成新视图，使其超越了最近的基线。

    Nov, 2021

  • ROOTS: 3D 场景的对象中心表示和渲染

    本文提出了一种概率生成模型，用于学习从多个物体场景的部分观察中构建模块化和组合化的三维物体模型，该模型可以推断 3D 物体表示并从任意视角呈现场景。

    Jun, 2020

  • RUST: 从非构图图像中生成潜在神经场景表示

    提出了 RUST（真正未放置的场景表示变换器）方法，一种仅基于 RGB 图像进行训练的无姿态方法，该方法使用 Pose 编码器获取目标图像，并学习一个潜在的姿态嵌入以供视图综合使用，证明其性能可以与具有完美摄像机姿态访问的方法相似，从而释放使用摊销神经场景表示进行大规模训练的潜力。

    Nov, 2022

  • 基于对象中心神经散射函数的多对象操作

    本文介绍一种将基于物体中心的神经散射函数作为模型预测控制框架中的物体表示的方法，在组成多物体环境下不断变化的光照条件下，通过结合反参数估计和基于图形的神经动力学模型的方法，大大提高了模型的控制性能和推广能力。

    Jun, 2023

  • 可编辑场景渲染的学习目标组合神经辐射场

    本研究提出了一种新型的神经场景渲染系统，在聚集和现实世界场景中学习对象组合的神经辐射场，具有编辑能力和高效处理能力，并通过新颖的双通道体系结构设计，得以在场景几何和外观以及独立于对象的可学习激活代码条件下训练各个独立目标。通过实验证明，该系统不仅在静态场景新视点综合方面具备优异性能，而且在对象级别编辑方面也能产生逼真的渲染效果。

    Sep, 2021

  • 基于对象的神经场景渲染

    提出一种基于神经辐射场和基于对象的神经散射函数的方法，能够在不重新训练的情况下，对静态及动态场景进行光线追踪模拟，拥有在新光照和新物品排列情况下泛化能力的物理准确的多物体场景组成渲染技术。

    Dec, 2020

  • 学习用于机器人操作的 3D 动态场景表达

    介绍了一种通过同时发现、跟踪、重构对象及预测其动态来捕获三个关键对象属性的三维动态场景表示方法 DSR，基于此提出了 DS 核网络 DSR-Net 模型，在建立和优化 DSR 模型的过程中逐渐聚合视觉观测，并在仿真和实际数据上实现了 3D 场景动力学建模的最新性能，结合模型预测控制，也为下游机器人操作任务如平面推动提供了准确规划的能力。

    Nov, 2020

  • DORSal: 基于扩散的场景对象中心表征

    本文通过引入扩散模型，提出了一种基于对象中心槽的 3D 场景生成框架 DORSal，具有良好的渲染效果和对象级别的场景编辑功能。

    Jun, 2023

  • 可扩展的三维对象为中心学习的变异推断

    我们提出了一种可伸缩的无监督面向对象中心的 3D 场景表示学习方法，通过学习在局部对象坐标系统中视角不变的 3D 对象表示，从而推断和维护 3D 场景的对象中心表示，并优于以前的模型。

    Sep, 2023

  • 场景表示网络：连续的三维结构感知神经场景表示

    提出了一种连续三维结构感知场景表征模型 Scene Representation Networks (SRNs)，能够通过不需要深度或形状信息的二维图像及其相机姿态进行端到端训练， 并在视角合成、少样本重建、形状外插及表现插值等任务中展示出潜力。

    Jun, 2019