ObPose:利用姿态进行三维物体中心场景推理
提出了一种针对结构化图像模型进行高效推断的框架,可以通过使用循环神经网络执行概率推断实现对场景元素进行有意识的处理,从而在部分特定的 2D 模型(大小可变的变分自动编码器)和完全指定的 3D 模型(概率渲染器)上进行推断而不需要监督学习,从而实现在单次正向神经网络传递中对包括多个对象的 3D 图像进行分解、计数、定位和分类等功能。同时,该文研究还表明,相比较于监督学习,采用该网络结构可以产生更加准确的推断,并且具有良好的泛化能力。
Mar, 2016
本文介绍一种名为GENESIS的三维视觉场景对象生成模型,通过捕捉场景组件之间的关系,能够分解和生成场景,并在公开数据集上进行了性能评估和半监督学习。
Jul, 2019
本文介绍了一种基于神经网络的方法来从单张图片中估计物体的3D形状和外观,将其分解成形状和外观两个隐变量,通过优化这两个变量和网络参数,可以精准地还原输入物体,并能够处理训练领域之外的真实图像。
Feb, 2021
ObSuRF为将场景单张图像转化为一组Neural Radiance Fields (NeRFs)三维模型的方法,可用于多视角的CLEVR以及将场景 populate 为ShapeNet模型的数据集中,在不需要监督的情况下实现了对场景中的物体进行分割,并且在三个二维图像分割基准测试中表现出与现有技术相同或更好的效果。
Apr, 2021
通过无监督变分方法,我们提出了一种模型——SIMONe,能够抽取场景的组成结构,学习并表示场景中各个物体的不依赖于视角的属性,并且可以实现视角合成和实例分割。
Jun, 2021
本文提出了一种无监督的方法,叫做uORF,用于从单张图像中推断物体场景表示,该方法整合了神经3D场景表示和深度推断网络,能够成功地分解复杂的3D场景,并完成诸如场景分割、3D编辑和新视角合成等任务。
Jul, 2021
AutoRF是一种学习神经3D物体表示的新方法,它通过单个视角观察训练集中的每个对象,提出了一种标准化的、以对象为中心的表示方法,该方法描述并区分了形状、外观和姿态,并在单个输出中解码为新的目标视图,从而实现了新颖的视图合成,进一步通过优化形状和外观的编码,在测试时将表示紧密拟合到输入图像,实验表明该方法能够很好地适应不同数据集和挑战性现实场景下的未见过的对象。
Apr, 2022
我们提出了一种可伸缩的无监督面向对象中心的3D场景表示学习方法,通过学习在局部对象坐标系统中视角不变的3D对象表示,从而推断和维护3D场景的对象中心表示,并优于以前的模型。
Sep, 2023
通过领域随机化技术,我们提出了 ObjectDR 方法,通过对物体外观和背景进行随机模拟的方式,通过条件生成模型生成符合特定空间条件的图像,并通过预训练改进了现有的三维形状重建模型。
Mar, 2024
从无人监督的以物体为中心的视频中学习估计类别级三维姿态,使用多视角对齐和密集对应的方法,我们的模型在无人监督下表现出色,提供了准确可靠的预测结果。
Jul, 2024