Mar, 2024

场景脚本：用自回归结构化语言模型重建场景

PDF
TL;DR我们通过使用自回归的基于标记的方法直接生成完整场景模型的有序语言命令序列，引入了 SceneScript。我们的场景表示方法受到转换器和 LLMs 的最新成功的启发，并与常见的以网格、体素网格、点云或辐射场描述场景的传统方法不同。我们的方法使用场景语言编码器 - 解码器架构，直接从编码的视觉数据中推断结构化语言命令集。为了训练 SceneScript，我们生成并发布了一个名为 Aria Synthetic Environments 的大规模合成数据集，该数据集由 100,000 个高质量室内场景组成，并具有逼真的和真实标注的以自我为中心的场景漫游渲染。我们的方法在建筑布局估计方面具有最先进的结果，在 3D 物体检测方面具有竞争性的结果。最后，我们探讨了 SceneScript 的优势，即通过简单添加到结构化语言中轻松适应新命令，我们在粗糙的 3D 物体部分重建等任务中进行了说明。
发现论文，激发创造
  • 场景生成：基于 LLM 的合成 3D 场景的 Blender 代码智能代理

    SceneCraft 是一个大型语言模型（LLM）代理，将文本描述转化为 Blender 可执行的 Python 脚本，用于渲染多达 100 个 3D 元素的复杂场景。通过高级抽象、战略规划和库学习的组合，SceneCraft 成功处理了空间规划和布局的挑战。

    Mar, 2024

  • 无条件场景图生成

    本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

    Aug, 2021

  • Scene-LLM: 扩展语言模型用于 3D 视觉理解和推理

    介绍了 Scene-LLM，一种增强 3D 室内环境中具有交互能力的具身化智能体的 3D 视觉语言模型，通过整合大型语言模型（LLM）的推理能力。该模型采用混合的 3D 视觉特征表示方法，结合了密集的空间信息并支持场景状态更新。它采用投影层将这些特征高效地投影到预训练的文本嵌入空间中，从而有效解释 3D 视觉信息。我们方法独特之处在于整合了场景级和自我中心的 3D 信息，这对于交互式规划至关重要，其中场景级数据支持全局规划，自我中心数据对于定位非常重要。值得注意的是，我们使用自我中心的 3D 帧特征进行特征对齐，这是一种增强模型对场景中小物体特征对齐能力的高效技术。通过 Scene-LLM 的实验证明了其在密集字幕生成、问题回答和交互规划方面的强大能力。我们相信 Scene-LLM 推进了 3D 视觉理解和推理的领域，在室内环境中为复杂智能体的交互提供了新的可能性。

    Mar, 2024

  • 从场景图和自注意力生成 3D 场景

    使用自我关注层和图变换器从场景图和楼层平面图中合成 3D 场景布局，生成更稀疏和多样化的场景。

    Apr, 2024

  • LiveScene: 语言嵌入交互式辐射场用于物理场景渲染和控制

    通过将单一对象级别的交互式物体重建扩展到复杂场景级别，本研究旨在推进物理世界交互式场景重建的进展。为了准确模拟复杂场景中多个物体的交互运动，我们提出了 LiveScene，即第一个嵌入场景级语言交互式神经辐射场，它能够高效重建和控制复杂场景中的多个交互式物体。通过将交互场景分解为多个局部可变形场，分别重建各个交互式对象，实现了对复杂场景中多个交互式物体的首个准确且独立的控制。此外，我们引入了一种交互感知的语言嵌入方法，通过生成不同交互状态下的语言嵌入来定位各个交互式对象，实现使用自然语言对交互式物体的任意控制。最后，我们利用构建的 OminiSim 和 InterReal 数据集对 LiveScene 进行评估，并在各种模拟和真实世界的复杂场景上展示了出色的新视角合成和语言注释性能，分别在 CoNeRF Synthetic、OminiSim #chanllenging 和 InterReal #chanllenging 数据集上的 PSNR 指标上超过现有方法 9.89、1.30 和 1.99，以及在 OminiSim 数据集上的 mIOU 指标上超过 65.12。

    Jun, 2024

  • ChatScene：用于自动驾驶车辆的基于知识的安全关键场景生成

    ChatScene 使用大型语言模型通过文本指令生成安全关键场景，将其转化为特定代码以实现车辆预测和控制，并验证了其在提高自动驾驶车辆安全性方面的有效性。

    May, 2024

  • 语言辅助下的场景检索：我在哪里？

    使用自然语言接口和语境 AI 的研究，探索以自然语言查询来识别 3D 场景图的场景检索方法，并介绍了 Text2SceneGraphMatcher 的学习框架和数据集。

    Apr, 2024

  • 基于 Transformer 的场景表示学习增强强化学习用于自动驾驶决策

    本文提出了一种名为 Scene-Rep Transformer 的决策算法，使用改进后的场景表示编码和连续预测潜在蒸馏来提高强化学习决策能力，通过在 5 种具有挑战性的模拟城市场景中验证，演示了数据效率和成功率，安全性和效率等方面的实质性改进。

    Aug, 2022

  • 动态场景的神经场景图

    该论文提出了一种新的神经渲染方法，能够将动态环境分解成场景图，通过隐式编码学习场景的变换和辐射度，并能够渲染未见过的物体、位置的各种动态场景，达到了高度逼真的效果。

    Nov, 2020

  • 场景表征变换器：通过隐式场景表征进行无几何新视图合成

    该论文提出了一种名为 SRT 的方法，用于从少量 RGB 图像中推断出 3D 场景表示，并在单个前向传递过程中合成新视图，使其超越了最近的基线。

    Nov, 2021