通过合成数据训练的客户端服务器基于增强现实的应用，展示了在边缘设备上对金属和无纹理工业物体进行最先进的姿态估计。定性评估一个 AR 辅助的分类任务，以及对渲染结果和在 HoloLens 2 上记录的真实世界数据的定量评估揭示了其在真实世界中的适用性。

Feb, 2024

本文提出了一种软件架构，用于在增强现实环境中使用机器学习进行实时物体检测。我们采用最新的 YOLOv8 网络，它可以在 Microsoft HoloLens 2 头戴式显示器上运行。我们展示了该模型的图像处理流水线以及用于在资源受限的边缘计算平台上实现实时性的技术。实验结果表明，我们的解决方案在不需要将任务卸载到云或其他外部服务器的情况下实现了实时处理，并保持了满意的精度和质量表现。

Jun, 2023

本研究开发了一个新的系统，通过无缝地融合人工智能模块和增强现实可视化，自动生成机器人手术教育的手术指导。该系统利用强化学习从专家演示中学习，生成 3D 指导轨迹，提供手术过程的先前上下文信息。将 3D 轨迹与文本提示等其他信息重叠在 dVRK 的立体视图中，让用户能够感知并学习该过程。通过 peg-transfer 手术的初步实验，证明了该系统的可行性和潜力，是下一代机器人辅助手术教育解决方案。

Jan, 2022

利用星球大战系列的全息图技术，本文提出一种应用，利用 LiDAR 增强的 3D 重建来实时创建全息叠加层。本文提出了三种高保真重建工具，可在便携设备（如 iPhone 14 Pro）上运行，并能实现度量准确的人脸重建。我的系统可以实现交互式和沉浸式的全息体验，可用于广泛的应用，包括增强现实、远程出席和娱乐。

May, 2024

通过增强现实技术辅助的演示获取框架，该论文提出了一种创新的解决方案，使非机器人专业人员能够使用 HoloLens 2 等设备为机器人模仿学习提供演示，从而实现了可扩展和多样化的真实世界任务演示收集。通过在三个经典机器人任务（到达、推动和拾取放置）上进行实验证明了该方法的有效性，实际机器人能够成功执行每个任务并回放通过增强现实收集的演示。

Mar, 2024

该论文介绍了一种方法，通过在计算机上训练 CNN 模型并将优化的权重矩阵传输到 AR 头戴设备，以在 AR 头戴设备上部署 CNN 模型。该方法将图像数据和 CNN 层转换为适合 AR 平台的一维格式，在 HoloLens AR 头戴设备上使用 PyTorch 训练 LeNet-5 CNN 模型并部署，结果表明模型的准确率约为 98%，与在计算机上的表现相似。这种 CNN 和 AR 的结合使得 AR 头戴设备能够实时进行图像处理，实现了人工智能模型与人的交互。

Jun, 2024

SLIMBRAIN 是一个实时获取和处理增强现实系统，适用于从高光谱信息中分类和显示脑肿瘤组织。该系统在肿瘤切除手术过程中以每秒 14 帧的速度捕获和处理高光谱图像，同时实现癌组织的检测和定位。这种可视化表示与 LiDAR 相机捕捉的 RGB 点云重叠，实现了在捕捉和处理过程中对场景的自然导航，提高了高光谱技术对肿瘤定位的可视化和效果。整个系统已在真实脑肿瘤切除手术中得到验证。

Mar, 2024

本研究旨在利用最新技术（例如深度学习、点云技术、红外成像技术、增强现实平台等）来提高消防员在火灾环境中的情境意识，并改善场景导航。我们设计并构建了一个嵌入式原型系统，该系统可以利用从消防员个人防护装备中内置摄像头中流传输的数据来捕捉热图像、RGB 彩色图像和深度图像，进而实时分析所有数据并将处理后的图像通过无线流媒体传回给消防员，以增强现实方式表现出分析结果，并指示消防员注意烟雾和火焰中隐藏的物体，如门窗等。

Sep, 2020

本文介绍了一个增强现实系统，使人类可以观察到机器人学习的隐藏状态，建立了人类和机器人的共同基础，并讨论了使用我们的系统在 K-12 教育活动中以及开发基于 AR 的人类循环强化学习框架的两个未来方向。

Oct, 2021

通过结合眼动追踪和增强现实技术，本研究通过人机交互方式教授机器人未知物体，使其在 3D 空间中识别和可视化分割对象，并通过学习获得与现有数据集训练的先进对象检测器相当的性能，展示了其多功能和适应性。

Dec, 2023