May, 2024

全息图表：通过 LiDAR 增强重建实现实时全息叠加

PDF
TL;DR利用星球大战系列的全息图技术，本文提出一种应用，利用 LiDAR 增强的 3D 重建来实时创建全息叠加层。本文提出了三种高保真重建工具，可在便携设备（如 iPhone 14 Pro）上运行，并能实现度量准确的人脸重建。我的系统可以实现交互式和沉浸式的全息体验，可用于广泛的应用，包括增强现实、远程出席和娱乐。
hologram technologylidar augmented 3d reconstructionfacial reconstructionsinteractive holographic experiencesaugmented reality
发现论文，激发创造
  • 将 HoloLens 与 Instant-NeRFs 相结合：先进的实时 3D 移动建图

    本研究利用 Microsoft HoloLens 2 作为多传感器平台，包括 RGB 相机和惯性测量单元用于 SLAM，结合 Neural Radiance Field 技术实现基于 RGB 相机图像的 3D 重建，相比于网格采样的 NeRF 算法提高了数倍的性能，是一种移动 3D 地图实时重建方法。

    Apr, 2023

  • 基于人工智能的船只检测和识别的 AR 可视化系统

    基于人工智能和增强现实技术的 AR 可视化系统用于船舶检测和识别，通过 R3Det 算法实现远程感知图像中船舶的检测和识别，并在虚拟场景中生成船舶的 3D 模型，通过语音模块和 UI 交互模块实现部署在 Hololens2 上，实现计算机视觉和增强现实技术的融合。

    Nov, 2023

  • LiDARsim: 通过利用现实世界，实现逼真的激光雷达模拟

    本文提出了一种名为 LiDARsim 的模拟器，利用真实数据生成 3D 场景，通过物理模拟和深度神经网络相结合来生成 LiDAR 点云，用于测试感知算法和评估安全场景。

    Jun, 2020

  • 时间复用神经全息：一种具有快速、大量量化空间光调制器的柔性全息近眼显示解决方案

    本研究提出一种基于计算机生成全息术的框架来优化高速空间光调制器（SLMs）的量化相位模式，实现对各种类型内容的支持，包括 2D 和 2.5D 的 RGBD 图像、3D 焦点堆栈以及 4D 光场。实验结果表明，在模拟和实验中，本研究所提出的框架在所有这些场景下都实现了最先进的效果。

    May, 2022

  • 使用合成训练，在 HoloLens 上检测和估计工业平面、无纹理物体的姿态

    通过合成数据训练的客户端服务器基于增强现实的应用，展示了在边缘设备上对金属和无纹理工业物体进行最先进的姿态估计。定性评估一个 AR 辅助的分类任务，以及对渲染结果和在 HoloLens 2 上记录的真实世界数据的定量评估揭示了其在真实世界中的适用性。

    Feb, 2024

  • Hololens 相机远程协作图像稳定化

    本文提出了一个两阶段流程来解决增强现实头戴设备中遇到的观看体验不佳的问题，其中包括离线室内环境的三维重建和使用增强视角方法的增强渲染。通过实验和评估，我们发现基于几何的增强视角方法具有更好的渲染效果，并使用结构相似性指数（SSIM）和峰值信噪比（PSNR）等指标进行量化验证。

    Apr, 2023

  • 使用即插即用点云去噪算法从单光子激光雷达数据实时重建 3D 模型

    文章提出了一种新的实时三维场景重建的计算框架，通过将统计模型和计算机图形学中高度可扩展的计算工具相结合，能够以 20 毫秒的处理时间重建具有未知数量曲面的像素，通过应对杂乱场景的目标探测和成像，能够实现对于复杂运动场景的鲁棒快速目标重建，为实际的三维成像应用铺平了单光子激光雷达以视频帧率的道路。

    May, 2019

  • HoloPOCUS：便携式混合现实 3D 超声波追踪、重建和叠加

    提出了一种将超声成像信息叠加到用户视觉中的混合现实超声系统（MR-US），扩展了现有的 MR-US 方法以实现 3D 重建和投影，在常规探头的辅助下可用于手术导引，通过幽灵任务进行的用户研究显示了导航时间的显著改善。

    Aug, 2023

  • SiLVR: 大规模激光雷达视觉重建与神经辐射场用于机器人检测

    本研究提出了一种基于神经场的大规模重建系统，它利用激光雷达和视觉数据生成几何精确且具有照片级真实纹理的高质量重建，同时使用激光雷达 SLAM 系统提供深度和表面法线的强几何约束来改进传统的神经辐射场表示方法。

    Mar, 2024

  • SLIMBRAIN: 增强现实实时获取和处理系统 用于体内外科手术的深度信息高光谱分类绘图

    SLIMBRAIN 是一个实时获取和处理增强现实系统，适用于从高光谱信息中分类和显示脑肿瘤组织。该系统在肿瘤切除手术过程中以每秒 14 帧的速度捕获和处理高光谱图像，同时实现癌组织的检测和定位。这种可视化表示与 LiDAR 相机捕捉的 RGB 点云重叠，实现了在捕捉和处理过程中对场景的自然导航，提高了高光谱技术对肿瘤定位的可视化和效果。整个系统已在真实脑肿瘤切除手术中得到验证。

    Mar, 2024