我们正在开发专有的头戴设备，帮助视觉障碍的人们在日常生活中导航、识别物体与人员、阅读文本和避开障碍物。该头戴设备将结合计算机视觉、超声波传感器的距离估计、语音识别和语音助手等技术，实时提供用户所处环境的信息。用户可以通过语音指令与头戴设备交互，例如 “那是什么？” 识别物体，或者 “导航到前门” 寻找方向。然后，头戴设备会口述物体的描述或给出语音导航指示。我们相信，这款头戴设备有潜力为视觉障碍的人们带来巨大改变，让他们能更独立地生活并更全面地参与社会活动。

Nov, 2023

通过调查注意力和认知模型、隐私保护方法和协议，研究人员完成了 3 个主要研究贡献，旨在将 VR 和随身式头戴式设备推向日常生活。

Mar, 2022

该论文通过引入系统分类法，对 AI 增强的虚拟现实应用于医疗保健领域进行了全面调查，将相关技术和应用细分为三个类别，即可视化增强、与 VR 相关的医学数据处理和 VR 辅助干预，为对这些技术进行更全面的理解和评估提供了一个框架。据我们所知，这是首次对医疗环境中的 AI 增强虚拟现实系统进行系统调查，为未来研究奠定了基础。

Feb, 2024

我们开发了一种针对增强现实眼镜交互的消费级视觉 - 脑机接口系统，该系统由一个可穿戴硬件和一个软件框架组成，硬件重量轻，体积小，实现了高准确性和实时交互，软件框架具有模块化配置和可扩展性。

Aug, 2023

本技术报告介绍了 HoloLens 2 Research Mode API 和一组工具，使我们能够访问原始传感器流并基于处理传感器数据构建混合现实应用程序。此外，我们还展示了如何将 Research Mode 传感器数据与 HoloLens 2 提供的内置眼睛和手部追踪能力相结合。通过发布研究模式 API 和一组开源工具，我们旨在促进计算机视觉、机器人学等领域的进一步研究，并鼓励研究界的贡献。

Aug, 2020

本研究提出了一种新颖的虚拟现实模拟工具，用于模拟真实光学方法，并在实验中提供高度的控制能力。该工具包括一个实验控制器，平滑和轻松处理多种条件，一个通用的眼动追踪控制器，适用于大多数常见的虚拟现实眼动追踪器，一个可配置的散焦模拟器，以及一个通用的虚拟现实问卷加载器，用于评估参与者在虚拟现实中的行为。这种基于虚拟现实的模拟工具弥合了新光学方法、矫正和治疗的理论研究与应用研究之间的差距。它使得视觉科学家能够增加他们的研究工具，获得一个稳健、逼真且快速的研究环境。

Dec, 2023

本研究开发了一个新的系统，通过无缝地融合人工智能模块和增强现实可视化，自动生成机器人手术教育的手术指导。该系统利用强化学习从专家演示中学习，生成 3D 指导轨迹，提供手术过程的先前上下文信息。将 3D 轨迹与文本提示等其他信息重叠在 dVRK 的立体视图中，让用户能够感知并学习该过程。通过 peg-transfer 手术的初步实验，证明了该系统的可行性和潜力，是下一代机器人辅助手术教育解决方案。

Jan, 2022

基于人工智能和增强现实技术的 AR 可视化系统用于船舶检测和识别，通过 R3Det 算法实现远程感知图像中船舶的检测和识别，并在虚拟场景中生成船舶的 3D 模型，通过语音模块和 UI 交互模块实现部署在 Hololens2 上，实现计算机视觉和增强现实技术的融合。

Nov, 2023

该论文介绍了一种方法，通过在计算机上训练 CNN 模型并将优化的权重矩阵传输到 AR 头戴设备，以在 AR 头戴设备上部署 CNN 模型。该方法将图像数据和 CNN 层转换为适合 AR 平台的一维格式，在 HoloLens AR 头戴设备上使用 PyTorch 训练 LeNet-5 CNN 模型并部署，结果表明模型的准确率约为 98%，与在计算机上的表现相似。这种 CNN 和 AR 的结合使得 AR 头戴设备能够实时进行图像处理，实现了人工智能模型与人的交互。

Jun, 2024

该论文探讨了增强现实在医疗行业中的应用，重点研究了基于增强现实的解决方案在脑室 - 腹腔分流手术中的应用，通过创建颅骨和脑室的 3D 模型，实验结果表明该解决方案能够显著减少手术准备时间和手术持续时间。

Apr, 2024