Dec, 2023

用于医疗程序的混合现实通信：插入中心静脉导管的教学

PDF
TL;DR医疗程序是医疗交付的重要组成部分，获取操作技能是医学教育的关键组成部分。我们提出了一个混合现实实时通信系统，以增加对操作技能培训的获取，并改善远程紧急援助。我们的系统允许远程专家通过视觉和口头指导本地操作员进行医疗程序。研究结果表明，我们的系统相对于视频会议培训，可以提供更好的视觉交流和新的可能性。
procedural skillsmedical educationmixed realityremote assistancevisual communication
发现论文，激发创造
  • 使用增强现实技术进行脑室腹腔分流手术的可行性研究

    该论文探讨了增强现实在医疗行业中的应用，重点研究了基于增强现实的解决方案在脑室 - 腹腔分流手术中的应用，通过创建颅骨和脑室的 3D 模型，实验结果表明该解决方案能够显著减少手术准备时间和手术持续时间。

    Apr, 2024

  • 实时感知技术在导管室自动化中的应用

    AutoCBCT 是一个基于视觉感知系统的融入血管造影套房中的创新工作流，通过自动定位、导航和模拟测试运行，消除了手动操作和交互，从而提高了工作效率。

    Mar, 2024

  • 机器人手术中结合人工智能和增强现实技术的应用：以手术教育为例的 dVRK 初步研究

    本研究开发了一个新的系统，通过无缝地融合人工智能模块和增强现实可视化，自动生成机器人手术教育的手术指导。该系统利用强化学习从专家演示中学习，生成 3D 指导轨迹，提供手术过程的先前上下文信息。将 3D 轨迹与文本提示等其他信息重叠在 dVRK 的立体视图中，让用户能够感知并学习该过程。通过 peg-transfer 手术的初步实验，证明了该系统的可行性和潜力，是下一代机器人辅助手术教育解决方案。

    Jan, 2022

  • 医学领域 AI 增强虚拟现实技术综述

    该论文通过引入系统分类法，对 AI 增强的虚拟现实应用于医疗保健领域进行了全面调查，将相关技术和应用细分为三个类别，即可视化增强、与 VR 相关的医学数据处理和 VR 辅助干预，为对这些技术进行更全面的理解和评估提供了一个框架。据我们所知，这是首次对医疗环境中的 AI 增强虚拟现实系统进行系统调查，为未来研究奠定了基础。

    Feb, 2024

  • 使用多模态基准物的骨科手术即时增强现实

    本文提出了一种基于增强现实的手术支持系统，可以在不准备好的手术室中使用，通过多种手段提供导航，提高手术精度，从而减少手术时间。

    Jan, 2018

  • MEDBind：统一语言与多模式医疗数据嵌入

    通过联合心胸纵观文本（MEDBind）, 我们实现了心胸 X 射线（CXR）、心电图（ECG）和医疗文本的联合嵌入，并通过模态 - 文本对的对比损失函数 Edge-Modality Contrastive Loss 实现了 CXR、ECG 和文本的统一嵌入空间，这一无缝整合通过将 CXR 和 ECG 嵌入直接集成到一个大型语言模型中以实现多模态提示调优，优化了下游任务的性能。

    Mar, 2024

  • VirtualCube：一种沉浸式的 3D 视频通讯系统

    VirtualCube 是一个 3D 视频会议系统，使用 VirtualCube 作为虚拟会议环境的基本构建块，并使用 V-Cube View 算法进行实时渲染，能正确保护参与者之间的互相眼神接触，支持远程参与者的侧面交流，并照顾到参与者对工作项（如文档和应用程序）的视觉注意，使用常规硬件进行数据捕获的方案显著简化了任务。

    Dec, 2021

  • 基于光学成像和人工智能的医疗针尖追踪

    本研究提出了一种用于增强针尖插入指导的创新技术，基于散射成像和卷积神经网络，实现了针尖位置和方向的实时估计，通过实验证实了在股动脉插管过程中准确引导针头的潜力。

    Aug, 2023

  • 利用混合现实技术进行中国手语教学

    本文提出了一种创新的教学模型，利用实时单目视觉和混合现实技术进行手语教学，实现手语语义保留和实时反馈，引入三元系统评估算法进行全面评估，构建基于场景的三维手语教室，并探索场景教学的用户体验。通过提供沉浸式学习体验、先进的姿势重建和精确的反馈，实现了用户体验和学习效果的积极反馈。

    Apr, 2024

  • 虚拟夹具辅助机器人进行深静脉血栓超声检查

    深静脉血栓（DVT）是一种常见的血管疾病，血栓形成在深部静脉内，可能阻塞血流，甚至导致危及生命的肺栓塞。为了减轻内部和间变异性，我们提出了一个具有新颖的混合力运动控制方案的机器人超声（US）系统，确保位置和力追踪精度，并使探针软着陆在目标表面。此外，我们提出了基于路径的虚拟夹具，实现了易于人机交互的重复压迫操作，以进行局部淤塞部位的压迫操作。为了确保来自不同检查的生物测量数据可比性，通过使用外部 RGBD 相机和 US 图像，以粗到精的方式确定 6D 扫描路径。首先，RGBD 相机用于提取对象的粗略扫描路径。然后，使用来自 US 图像的分割血管腔来优化扫描路径，以确保目标物体的可见性。为了生成用于开发虚拟夹具的连续扫描路径，提出了基于弧长的考虑位置和方向的路径拟合模型。最后，整个系统在一个具有不均匀表面的类人臂幻影上进行了评估。

    Jan, 2024