CVPRAug, 2018

使用随机文法进行以人为中心的室内场景合成

PDF
TL;DR本文提出了一种以人为中心的方法来采样和合成三维房间布局和其二维图像，以获得带有完美每个像素地面真相的大规模二 / 三维图像数据。通过分布学习和采用蒙特卡罗马尔可夫链，可以采样出各种真实的房间布局，并使用视觉真实性、基于地面真实性的可负担性图的准确性以及人类主题评估的合成房间的功能性和自然性。
3d room layoutsattributed spatial and-or graphmarkov random fieldsmonte carlo markov chainindoor scene dataset
发现论文，激发创造
  • 使用随机文法进行可配置的 3D 场景合成和 2D 图像渲染，同时提供每个像素的真实值

    采用基于学习的方法生成大规模的合成三维场景和任意数量的真实感二维图像，用于训练、基准测试和诊断学习基础的计算机视觉和机器人算法。

    Apr, 2017

  • 从单个 RGB 图像进行全面的 3D 场景分析和重建

    本文提出了一种使用随机语法模型联合解析单个 RGB 图像并重建由一组 CAD 模型组成的整体 3D 配置的计算框架，并引入了一个全局场景语法（HSG）表示 3D 场景结构，进而以分析 - 合成方式解决该联合分析和重建问题。

    Aug, 2018

  • 利用随机语法预测人类活动

    本文提出了一种新的方法来从部分观察到的 RGB-D 视频中预测未来的人类活动，使用随机语法模型来捕捉事件的组成结构，作为一个空间时间 And-Or 图 (ST-AOG)，未来的子活动通过 Earley 解析算法预测，我们通过广泛的实验验证了我们模型在语义事件标记和未来活动预测方面的有效性。

    Aug, 2017

  • 从视频中学习社交可供性语法：将人类交互转移到人机交互

    本文介绍了一种从 RGB-D 视频中学习社交能力语法的空间时间 AND-OR 图（ST-AOG）的通用框架，并将语法传递给人形机器人，以实现人机交互的实时运动推理。通过对基于吉布斯采样的弱监督语法学习的研究，我们通过构造自动化层次互动的表示形式，同时考虑双方的长期联合子任务和个体代理的短期原子行动。基于具有丰富人际互动实例的新 RGB-D 视频数据集，我们的实验的 Baxter 模拟，人类评价和真实 Baxter 测试表明，该模型能够从有限的训练数据中成功地在看不见的情境中生成人类化的行为，并胜过了基线。

    Mar, 2017

  • 基于语言增强的空间本体论的室内外三维场景图生成

    该论文提出了一种在任意环境（室内和室外）中构建 3D 场景图的方法。为了解决室内和室外环境的概念层次复杂性和训练数据不足的挑战，提出了构建空间本体和使用逻辑张量网络构建 3D 场景图的两个新扩展。通过使用大型语言模型构建空间本体，从而大大减少手动工作量；并利用逻辑张量网络添加逻辑规则或公理，提供附加的监督信号，减少标记数据的需求，并在训练时允许预测未见过的概念。在多个数据集上测试表明，该方法显著提高了使用稀疏注释数据生成 3D 场景图的质量。

    Dec, 2023

  • 基于上下文感知的实体定位和开放词汇 3D 场景图

    我们介绍了一种开放词汇的 3D 场景图（OVSG），它是一个形式化的框架，用于将各种实体，如物体实例、代理和区域，与自由文本查询进行关联。与传统的基于语义的物体定位方法不同，我们的系统支持上下文感知的实体定位，允许查询，如 ' 在厨房桌子上拿起一个杯子 ' 或' 导航到一个有人坐在上面的沙发 '。与现有的 3D 场景图研究相比，OVSG 支持自由文本输入和开放词汇查询。通过使用 ScanNet 数据集和自采集数据集进行的一系列比较实验证明，我们提出的方法明显超越了以前基于语义的定位技术的性能。此外，我们突出了 OVSG 在真实世界的机器人导航和操作实验中的实际应用。

    Sep, 2023

  • 室内场景的人机协同活动重新排列

    本文提出一种基于优化的框架用于重新布置室内家具，以更好地容纳人机共同活动。优化算法基于多种空间和语义相关信息，将家具重新布置以保留人类功能性需求的同时为机器人活动留出足够空间，并通过自适应模拟退火和共轭梯度演化策略解决优化问题。实验结果显示，重新布置后的场景平均提供了 14％更多的可访问空间和 30％更多的物品供机器人和人类交互。

    Mar, 2023

  • 基于语言的机器人导航的分层开放词汇三维场景图

    本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。

    Mar, 2024

  • 基于 And-Or 图的在线物体跟踪、学习和解析

    本文介绍了一种名为 AOGTracker 的方法，用于在视频序列中同时跟踪，学习和解析（TLP）未知对象，使用分层和组合的 And-Or 图（AOG）表示方法。通过在线学习，使用潜在 SVM 来磨练 AOg 并解决背景中的干扰问题。通过实验表明，与现有算法相比，AOGTracker 具有更高的准确性和可靠性。

    Sep, 2015

  • 三维室内场景语言引导的语义风格转移

    本文介绍了一种语言引导的 3D 室内场景语义风格转移的方法，基于多层感知机，视觉语言模型，采用渲染和修正的方式实现创新，通过 ScanNet 数据集测试表明，语义信息的引入显著提高了风格转移的品质和用户评分。

    Aug, 2022