Jun, 2019

场景表示网络：连续的三维结构感知神经场景表示

PDF
TL;DR提出了一种连续三维结构感知场景表征模型 Scene Representation Networks (SRNs)，能够通过不需要深度或形状信息的二维图像及其相机姿态进行端到端训练， 并在视角合成、少样本重建、形状外插及表现插值等任务中展示出潜力。
unsupervised learninggenerative models3d scene representationimage formationsrns
发现论文，激发创造
  • 通过反向图形学进行 3D 感知场景操作

    本文提出了一种名为 3D-SDN 的深度生成模型，该模型可以生成可解释的、富有表现力的、分离的场景表示，能够支持 3D 感知场景操作，并证明该模型比其 2D 版本表现更优秀。

    Aug, 2018

  • 基于混合表示的场景合成深度生成建模

    本论文提出了一种基于深度生成模型的室内环境场景建模技术，使用前馈神经网络将先验分布映射到室内场景中的主要物体分布，并结合 2D 和 3D 物体排列表示的区分器损失对该模型进行训练，并在多个基准数据集上验证了该模型在场景插值和补全方面的有效性。

    Aug, 2018

  • 使用几何感知循环网络学习空间常识

    这篇论文提出了一种通过结合几何学和深度视觉表示学习的思想，将其嵌入移动视觉场景理解的递归网络架构中，以学习如何将 2D 视觉特征整合到场景的潜在 3D 特征映射中，通过不同 iable 几何操作进行预测和分割，十分成功。

    Dec, 2018

  • 场景表征变换器：通过隐式场景表征进行无几何新视图合成

    该论文提出了一种名为 SRT 的方法，用于从少量 RGB 图像中推断出 3D 场景表示，并在单个前向传递过程中合成新视图，使其超越了最近的基线。

    Nov, 2021

  • 提升数据高效三维场景理解的表示学习的泛化能力

    通过利用生成贝叶斯网络产生具有真实世界模式的多样化合成场景，并通过联合学习粗到精的对比学习任务和遮挡感知重建任务，我们提出了可泛化的表示学习（GRL）方法，从而为三维场景的理解提供了可传递、几何信息化的表示。在合成数据的预训练之后，我们的模型的所掌握的知识可以通过真实世界基准数据集实现无缝传递到与三维场景理解相关的两个主要下游任务，即三维物体检测和三维语义分割，并通过详尽系列的实验证明了我们方法相对于现有最新预训练方法的持续优势。

    Jun, 2024

  • 从纠缠的场景表示中发现对象及其关系

    本文引入的关系网络（RNs）- 一种通用的神经网络架构，可用于从场景描述数据中学习对象关系，并从变分自编码器提供的场景图像的分布式深度表示中分离出错综场景描述输入的对象。

    Feb, 2017

  • 动态场景的神经场景图

    该论文提出了一种新的神经渲染方法，能够将动态环境分解成场景图，通过隐式编码学习场景的变换和辐射度，并能够渲染未见过的物体、位置的各种动态场景，达到了高度逼真的效果。

    Nov, 2020

  • 等变神经渲染

    该论文提出了一种从图像中直接学习神经场景表示的框架，通过引入一种强制要求该场景表示对于 3D 变换等变的损失函数，使得我们可以实时推断和渲染场景，并在标准 ShapeNet 基准测试上获得了很好的结果。

    Jun, 2020

  • 面向活动视觉识别的几何感知循环神经网络

    该研究介绍了使用递归的几何感知神经网络，将一个场景的多个视图中的视觉信息整合到 3D 潜在特征张量中，并直接使用构建的 3D 特征存储器进行物体检测、物体分割和 3D 重建。

    Nov, 2018

  • 学习用于机器人操作的 3D 动态场景表达

    介绍了一种通过同时发现、跟踪、重构对象及预测其动态来捕获三个关键对象属性的三维动态场景表示方法 DSR，基于此提出了 DS 核网络 DSR-Net 模型，在建立和优化 DSR 模型的过程中逐渐聚合视觉观测，并在仿真和实际数据上实现了 3D 场景动力学建模的最新性能，结合模型预测控制，也为下游机器人操作任务如平面推动提供了准确规划的能力。

    Nov, 2020