Jan, 2024

OCTO+: 用于混合现实中自动开放词汇对象放置的套件

PDF
TL;DR通过多方面评估，我们发现一种新的最先进方法 OCTO+ 可以在超过 70% 的时间内将对象放置在有效的区域中，该方法使用了最新的开放词汇语言模型在增强现实中实现自动对象放置的多种方法，并引入了用于自动评估虚拟对象放置的基准，减少了费用昂贵的用户研究的需求。
augmented realityplacement of virtual contentautomated techniquesopen-vocabulary vision-language modelsbenchmark for evaluating object placement
发现论文，激发创造
  • OCTOPUS: 使用语义理解在混合现实中进行开放词汇内容跟踪和对象放置

    本研究旨在解决增强现实中虚拟内容的放置问题，通过引入一种新的开放词汇方法，利用分割模型、视觉 - 语言模型和 LLMs 的最新进展，在任何增强现实场景中的相机镜头下放置任何虚拟物体，并通过初步的用户研究表明，我们的方法在 57％的时间内至少与人类专家表现相当。

    Dec, 2023

  • OVTrack: 开放式词汇多目标跟踪

    本研究解决了传统多目标跟踪方法只针对少数预定义对象类型的固有限制，并提出了一种新的任务 Open-vocabulary MOT，进一步开发出一种数据效率优异的开放词汇跟踪器 OVTrack，通过知识蒸馏和数据幻觉策略有效提升图像分类和关联准确性，最终在大规模的 TAO 基准测试上取得了最新的最优效果。

    Apr, 2023

  • OVO: 开放词汇占用

    本文提出了 Open Vocabulary Occupancy (OVO) 算法，通过知识蒸馏和像素 - 体素筛选两个关键步骤，可以对任意类别进行语义占据的预测，同时适用于大多数最先进的语义占据预测模型。在 NYUv2 和 SemanticKITTI 数据集上，OVO 与有监督的方法相比具有竞争性的性能。

    May, 2023

  • 面向物体的指导增强机器人操控

    通过引入 “对象中心化指导增强 (OCI)” 框架，将高度语义化和信息密集的语言指导与位置提示相结合，利用多模态大型语言模型 (MLLM) 将物体位置知识编织到自然语言指导中，从而帮助政策网络掌握多样操纵的动作，并通过一系列模拟和现实世界的机器人任务，证明使用我们增强的指令训练的机器人操作策略优于仅依赖传统语言指令的策略。

    Jan, 2024

  • 在未知的动态环境中使用三维语义地图进行开放词汇的移动操作

    在未知和动态环境中，建立并理解空间语义上下文的移动机器人操作任务通过零样本检测和基于视觉 - 语言模型的密集三维实体重建，利用大型语言模型进行空间区域抽象和在线规划，并通过演示在实际机器人实验中取得较高的导航和任务成功率以及基线模型相比更好的成功率和性能，证明了这种新的框架的有效性。

    Jun, 2024

  • 在城市环境中的开放词汇三维物体检测

    通过开放式词汇学习、视觉语言模型和远程模拟器，我们解决了当前基于激光雷达的 3D 物体检测系统的局限性，实现了对新颖对象的高效检测和识别。

    Mar, 2024

  • 从视觉语言模型的快速映射实现地面化开放词汇获取

    本文介绍了 Grounded Open Vocabulary Acquisition (GOVA) 作为一种视觉和语言相关的学习机制，并提出了一种基于图像 - 文本对的 object-oriented BERT (OctoBERT）模型，通过大量实验和分析表明，该模型是一种更加快速和一致的 grounded word learner，预先训练所获取的数学能力有助于模型更迅速和稳健地学习无法预知的单词。

    Jun, 2023

  • OV-VG：开放词汇视觉定位基准

    本研究的关键词是开放式词汇学习、视觉定位、新概念、语言描述和对象检测。通过引入新颖和具有挑战性的任务，即开放式视觉定位与开放式短语定位，这项研究的目标是在语言描述和新对象的定位之间建立联系。我们提出了一种新的框架来加强对新类别的识别，并增强视觉和语言信息之间的对齐。经过广泛的实验验证，我们的提议框架在开放式视觉定位任务上始终达到了最先进的性能。

    Oct, 2023

  • O2V-Mapping：基于神经隐性表示的在线开放词汇映射

    O2V-mapping utilizes voxel-based language and geometric features to achieve online construction of open-vocabulary language scenes, overcoming challenges such as lack of local scene updating ability, blurry spatial hierarchical semantic segmentation, and difficulty in maintaining multi-view consistency.

    Apr, 2024

  • LOSS-SLAM: 轻量级开放集合语义同时定位与地图构建

    基于对象的开放式语义定位与映射（SLAM）系统通过紧密耦合的概率图模型来识别、定位和编码对象，以实现更准确的 SLAM，并承担较低的计算开销。

    Apr, 2024