Dec, 2023
OCTOPUS: 使用语义理解在混合现实中进行开放词汇内容跟踪和对象放置
OCTOPUS: Open-vocabulary Content Tracking and Object Placement Using Semantic Understanding in Mixed Reality
Luke Yoffe, Aditya Sharma, Tobias Höllerer
TL;DR本研究旨在解决增强现实中虚拟内容的放置问题，通过引入一种新的开放词汇方法，利用分割模型、视觉 - 语言模型和 LLMs 的最新进展，在任何增强现实场景中的相机镜头下放置任何虚拟物体，并通过初步的用户研究表明，我们的方法在 57％的时间内至少与人类专家表现相当。