Mar, 2024

SLIMBRAIN: 增强现实实时获取和处理系统 用于体内外科手术的深度信息高光谱分类绘图

PDF
TL;DRSLIMBRAIN 是一个实时获取和处理增强现实系统，适用于从高光谱信息中分类和显示脑肿瘤组织。该系统在肿瘤切除手术过程中以每秒 14 帧的速度捕获和处理高光谱图像，同时实现癌组织的检测和定位。这种可视化表示与 LiDAR 相机捕捉的 RGB 点云重叠，实现了在捕捉和处理过程中对场景的自然导航，提高了高光谱技术对肿瘤定位的可视化和效果。整个系统已在真实脑肿瘤切除手术中得到验证。
发现论文，激发创造
  • AR 辅助神经外科系统的端到端评估

    评估 AR 辅助神经外科系统的不同技术并提出了一种新的技术来系统化评估过程。此外，在手术的准备和术中阶段基于相应的反馈进行更深入的调查，发现物理反馈可以显著减少由全息图位移引起的错误，而全息图上的缺乏视觉反馈对用户的三维感知不会产生显著影响。

    Nov, 2023

  • 使用增强现实技术进行脑室腹腔分流手术的可行性研究

    该论文探讨了增强现实在医疗行业中的应用，重点研究了基于增强现实的解决方案在脑室 - 腹腔分流手术中的应用，通过创建颅骨和脑室的 3D 模型，实验结果表明该解决方案能够显著减少手术准备时间和手术持续时间。

    Apr, 2024

  • 全息图表：通过 LiDAR 增强重建实现实时全息叠加

    利用星球大战系列的全息图技术，本文提出一种应用，利用 LiDAR 增强的 3D 重建来实时创建全息叠加层。本文提出了三种高保真重建工具，可在便携设备（如 iPhone 14 Pro）上运行，并能实现度量准确的人脸重建。我的系统可以实现交互式和沉浸式的全息体验，可用于广泛的应用，包括增强现实、远程出席和娱乐。

    May, 2024

  • 手术过程中基于高光谱图像的脑癌检测的时空谱分类

    开发了一种考虑到高光谱图像的空间和光谱特征的新型分类方法，帮助神经外科医生在手术过程中准确确定肿瘤边界，避免过度切除正常组织或意外剩余肿瘤，初步结果有望获得肿瘤区域的准确划分。

    Feb, 2024

  • 脑癌检测的体内高光谱人脑影像数据库

    该研究论文介绍了在欧洲项目 HELIcoiD（高光谱成像癌症检测）的框架内开发了第一个活体人类脑组织高光谱数据库的方法，该数据库中包含了用于在神经外科手术期间实时描绘脑肿瘤的高光谱图像和超过 300,000 个光谱标记。

    Feb, 2024

  • 基于人工智能的船只检测和识别的 AR 可视化系统

    基于人工智能和增强现实技术的 AR 可视化系统用于船舶检测和识别，通过 R3Det 算法实现远程感知图像中船舶的检测和识别，并在虚拟场景中生成船舶的 3D 模型，通过语音模块和 UI 交互模块实现部署在 Hololens2 上，实现计算机视觉和增强现实技术的融合。

    Nov, 2023

  • 机器人手术中结合人工智能和增强现实技术的应用：以手术教育为例的 dVRK 初步研究

    本研究开发了一个新的系统，通过无缝地融合人工智能模块和增强现实可视化，自动生成机器人手术教育的手术指导。该系统利用强化学习从专家演示中学习，生成 3D 指导轨迹，提供手术过程的先前上下文信息。将 3D 轨迹与文本提示等其他信息重叠在 dVRK 的立体视图中，让用户能够感知并学习该过程。通过 peg-transfer 手术的初步实验，证明了该系统的可行性和潜力，是下一代机器人辅助手术教育解决方案。

    Jan, 2022

  • 一个面向消费者的基于视觉脑机接口的增强现实眼镜交互系统

    我们开发了一种针对增强现实眼镜交互的消费级视觉 - 脑机接口系统，该系统由一个可穿戴硬件和一个软件框架组成，硬件重量轻，体积小，实现了高准确性和实时交互，软件框架具有模块化配置和可扩展性。

    Aug, 2023

  • 使用多模态基准物的骨科手术即时增强现实

    本文提出了一种基于增强现实的手术支持系统，可以在不准备好的手术室中使用，通过多种手段提供导航，提高手术精度，从而减少手术时间。

    Jan, 2018

  • 基于异构计算的微创手术实时大规模稠密可变形 SLAM 系统

    本文提出了基于异构计算单位 CPU 和 GPU 实现的、在微创手术中完整实时大规模的、具有稠密形变 SLAM 系统的 MIS-SLAM 方法，该方法通过 ORBSLAM 提供强大的全局姿态定位，解决了范围快速移动和模糊图像等问题，显著改善了局部定位，并在实时中实现了规模大的局部定位与稠密建图。在公开数据集上进行的实验表明，这种方法具有潜在的临床应用价值。

    Mar, 2018