- Apple 视界医疗:终极显示器?
苹果在 2023 年的全球开发者大会上推出了 Vision Pro,这是一款混合现实头显,即一种具有额外视频透视功能的虚拟现实设备。该头显通过摄像头将真实世界实时传输到用户眼前的虚拟现实屏幕上,进而实现增强现实功能。该研究旨在探讨 Visi - 脊柱手术无标记外科导航的连续姿态跟踪自动注册
本文提出了一种无辐射方法的自动注册方案,使用深度神经网络自动解决腰椎融合手术的注册问题,并结合增强现实导航系统提供直观的手术引导。在公开数据集上验证了注册方法并获得较高的注册成功率和精度,在离体手术中也取得了良好的结果,展现了 RGB-D - 自动驾驶鲁棒路侧感知:基于合成数据的无需标注策略
本文提出了一种新方法来解决道路感知系统中数据不足的问题,即使用增强现实和生成对抗网络来创建合成训练数据集,从而训练鲁棒性较高、适应性更强的道路感知检测器。在两个路口的实验中,我们的实验表明,使用合成数据仅仅作为训练集的检测器可以在所有条件下 - 使用方向边界框进行物体检测的环境条件评估,用于增强现实应用
该研究提出了一种新的方法,使用定向边界框与深度识别网络来改善增强现实中场景分析和物体识别的性能和处理时间,该方法使用 DOTA 数据集和一个模拟不同环境、照明和获取条件的合成数据集进行评估,结果表明该方法在大多数测试条件下能够更好地识别小物 - 利用头戴式增强现实设备进行后向反射工具追踪和空间重建的埃博拉病毒疾病手术指导
该研究提出了一种采用 ToF 深度传感器和反射标记的 AR 头戴式设备的新框架,可以实现高精度的 EVD 手术导航。通过深度校正和面部表面重建,可以大幅减少深度误差并实现亚毫米级精度,同时在仿真的 EVD 手术中实现了较高的定位精度。
- 利用反射场的神经投影映射
本文提出利用神经投影映射技术在增强现实应用中实现对投影仪的高分辨率自适应校准和照片级别的光线编辑。通过将虚拟投影纹理与场景参数全微分,可以优化得到所需的外观。此外,本文展示了在材料和场景重建等方面,较传统方法更好的性能。
- Aria 数字孪生:自我中心三维机器感知新基准数据集
介绍了使用 Aria 眼镜捕获的以自我为中心的数据集,其中包含许多对象,环境和人类级别的地面真实性。它对于活动监测和增强现实等研究问题具有重要作用,并对物体检测、人体姿态预测等开展了一些有益尝试。
- 使用等距岑圆投影的生成对抗网络进行 HRTF 上采样
本文提出了一种新的方法,使用生成对抗网络(GAN)将 HRTF 数据转换为便于使用卷积超分辨率生成对抗网络(SRGAN),该方法在稀疏输入 HRTF 时表现出较高的性能。
- Enhance-NeRF: 神经辐射场的多重性能评估
该研究通过提出 Enhance-NeRF 模型,增强神经放射场(NeRF)在虚拟现实和增强现实等领域的三维重建应用,改进了场景识别和学习能力,有望广泛应用于照明、材质和形状的室外场景重建,具备插拔式的易用性,并能够与其他 NeRF-base - 实时车载目标检测用于增强现实:基于 YOLOv8 增强 头戴式显示器
本文提出了一种软件架构,用于在增强现实环境中使用机器学习进行实时物体检测。我们采用最新的 YOLOv8 网络,它可以在 Microsoft HoloLens 2 头戴式显示器上运行。我们展示了该模型的图像处理流水线以及用于在资源受限的边缘计 - 融合模型:朝着虚拟、物理和认知的整合及其原则
本研究介绍了一种融合模型,即融合宇宙(FU),该模型将虚拟世界、物理世界和认知世界融合在一起。本文研究了涉及沉浸式和交互式体验的几个方面,并提出了融合宇宙的基本原则,可以将物理世界和虚拟世界无缝地融合在一起。
- CVPR隐式深度实现虚拟遮挡
本文提出了一种基于神经网络的模型,使用颜色图像和虚拟几何的深度信息,在不需要深度回归的情况下直接预测遮挡掩模,从而提高增强现实中虚拟物体与现实世界之间遮挡关系的准确性和稳定性。
- 听取未来:音视频自我中心注视预测
本文介绍了一种利用两种视觉和听觉模态进行 egocentric 注视预测的模型,为此我们提出了一种对比时空可分的融合方法,并采用对比损失进行表示学习。我们使用 Ego4D 和 Aria 等数据集进行了广泛的实验验证,并在先前的最新方法上进行 - CVPR利用互联网不完整的 3D 模型的视觉定位
本文探讨了互联网上获取的 3D 模型对于视觉定位的不精确性以及如何处理构建一个更加准确的场景表示,研究人员创建了一个基准测试,以评估基于多个 3D 模型的视觉本地化问题的准确性。
- Hololens 相机远程协作图像稳定化
本文提出了一个两阶段流程来解决增强现实头戴设备中遇到的观看体验不佳的问题,其中包括离线室内环境的三维重建和使用增强视角方法的增强渲染。通过实验和评估,我们发现基于几何的增强视角方法具有更好的渲染效果,并使用结构相似性指数(SSIM)和峰值信 - XAIR:增强现实可解释人工智能框架
XAIR 是一个设计框架,通过多学科文献综述,大规模调查和专家意见收集,促进人工智能在增强现实中的可解释性,并通过实证研究证实其实用性和效果。
- 评估将增强现实和物联网技术融合以帮助阿尔茨海默病患者的可行性
利用物联网和增强现实概念创造一种环境辅助生活实施系统,来帮助患有阿尔茨海默症(AD)的人。该系统包括智能手机或 Windows 应用程序和智能眼镜。前者用于监测 AD 患者在家中的状况并在患者处于风险状态时通知看护人员。后者用于识别环境中的 - 基于生成人工智能的机动车元宇宙中有效的物理虚拟同步
本文提出了一种基于生成式 AI 的物理 - 虚拟同步框架,用于车辆元宇宙。在物理到虚拟同步方面,由自动驾驶汽车生成的数字孪生(DT)任务通过 RSU 进行执行,在生成未来路径的同时,通过生成式人工智能模型基于用户首选项对元宇宙 AR 推荐器 - STEPs: 从无标签过程视频中自监督提取关键步骤
通过提出的 Bootstrapped Multi-Cue Contrastive (BMC2) Loss,我们成功地建立了一个轻量级的时间模型,该模型使用现成的特征进行自我监督,并能够从多个提示信号中获取信息,最终实现从无标记程序性视频中提 - NeuralLift-360: 将野外 2D 照片提升为带有 360° 观测的 3D 物体
本文提出一种名为 NeuralLift-360 的新框架,使用深度感知的神经辐射表示(NeRF)和去噪扩散模型学习场景,通过引入排名损失,可以使用自然图像进行粗略深度估计,这种技术可以缓解 3D 艺术家和 XR 设计师繁琐的工作流程,生成出