Jan, 2022

机器人手术中结合人工智能和增强现实技术的应用：以手术教育为例的 dVRK 初步研究

PDF
TL;DR本研究开发了一个新的系统，通过无缝地融合人工智能模块和增强现实可视化，自动生成机器人手术教育的手术指导。该系统利用强化学习从专家演示中学习，生成 3D 指导轨迹，提供手术过程的先前上下文信息。将 3D 轨迹与文本提示等其他信息重叠在 dVRK 的立体视图中，让用户能够感知并学习该过程。通过 peg-transfer 手术的初步实验，证明了该系统的可行性和潜力，是下一代机器人辅助手术教育解决方案。
发现论文，激发创造
  • 医学领域 AI 增强虚拟现实技术综述

    该论文通过引入系统分类法，对 AI 增强的虚拟现实应用于医疗保健领域进行了全面调查，将相关技术和应用细分为三个类别，即可视化增强、与 VR 相关的医学数据处理和 VR 辅助干预，为对这些技术进行更全面的理解和评估提供了一个框架。据我们所知，这是首次对医疗环境中的 AI 增强虚拟现实系统进行系统调查，为未来研究奠定了基础。

    Feb, 2024

  • 能否通过 AI-XR 外科仿真技术重振介入医疗？

    该论文探讨了机器学习、深度学习、元宇宙等技术在手术科学中的巨大潜力，通过结合人工智能和扩展现实等技术可以创建手术元宇宙，以此来规划和执行手术，同时提出了实现 AI-XR 手术元宇宙的挑战和必要性，以及一个关于手术元宇宙的安全性攻击案例.

    Mar, 2023

  • AR 辅助神经外科系统的端到端评估

    评估 AR 辅助神经外科系统的不同技术并提出了一种新的技术来系统化评估过程。此外，在手术的准备和术中阶段基于相应的反馈进行更深入的调查，发现物理反馈可以显著减少由全息图位移引起的错误，而全息图上的缺乏视觉反馈对用户的三维感知不会产生显著影响。

    Nov, 2023

  • 一种增强现实平台，用于通过机器人向 K-12 学生介绍强化学习

    本文介绍了一个增强现实系统，使人类可以观察到机器人学习的隐藏状态，建立了人类和机器人的共同基础，并讨论了使用我们的系统在 K-12 教育活动中以及开发基于 AR 的人类循环强化学习框架的两个未来方向。

    Oct, 2021

  • 使用增强现实技术进行脑室腹腔分流手术的可行性研究

    该论文探讨了增强现实在医疗行业中的应用，重点研究了基于增强现实的解决方案在脑室 - 腹腔分流手术中的应用，通过创建颅骨和脑室的 3D 模型，实验结果表明该解决方案能够显著减少手术准备时间和手术持续时间。

    Apr, 2024

  • 基于深度强化学习的半自主机器人手术控制

    本文提出了一种基于深度强化学习的半自主控制方法，可帮助外科机器人在手术过程中完成一些简单但重复的操作，用户实验表明此框架可将手术时间缩短 19.1％，行程长度缩短 58.7％。

    Apr, 2022

  • 应用计算机视觉和人工智能在心胸外科中提升手术技术性能：一篇叙事性综述

    高技术要求且患者结局至关重要时，通过客观运动分析反馈监测和改进外科技能的机会可能特别有益。本综述通过对技术和非技术外科技能、协作任务表现和姿态估计的研究进行综合，揭示了通过计算机视觉和人工智能的创新推进心胸外科手术性能的新机遇。这些技术创新从纵向上评估其对心胸外科手术界所带来的益处，并详细阐述了采用该技术的障碍。如同其他一些专业一样，心胸外科手术相对较少有机会从嵌入数据采集技术的工具中受益（例如机器人辅助腹腔镜手术）。在这种情况下，允许在常规手术领域中进行运动追踪而不使用专业设备或标记的姿态估计技术具有相当大的潜力。借助来自模拟或真实外科手术过程的视频数据，这些工具可以（1）深入了解外科医生职业生涯中专业知识和手术性能的发展，（2）为实习外科医生提供改进方面的反馈，（3）研究与患者结局有关的技能方面，并（4）在培训或指导计划中确定应重点关注的外科技能方面提供支持。利用人工智能进行 ' 学习 ' 专家外科评估者的专业知识的分类器或评估算法可以进一步帮助教育工作者确定实习生是否达到了胜任水平。

    Feb, 2024

  • 使用多模态基准物的骨科手术即时增强现实

    本文提出了一种基于增强现实的手术支持系统，可以在不准备好的手术室中使用，通过多种手段提供导航，提高手术精度，从而减少手术时间。

    Jan, 2018

  • 可扩展机器人模仿学习的增强现实演示

    通过增强现实技术辅助的演示获取框架，该论文提出了一种创新的解决方案，使非机器人专业人员能够使用 HoloLens 2 等设备为机器人模仿学习提供演示，从而实现了可扩展和多样化的真实世界任务演示收集。通过在三个经典机器人任务（到达、推动和拾取放置）上进行实验证明了该方法的有效性，实际机器人能够成功执行每个任务并回放通过增强现实收集的演示。

    Mar, 2024

  • 机器人手术自主性

    自主手术涉及让机器人自主执行手术任务，具有提高精度、利用生物信号进行干预护理、提高手术效率和指导的优点。但是，这些方法可能取代一些手术团队和单个外科医生的任务，同时也带来了新的干预能力。本章节概述商业和研究中机器人自主性的现状，并介绍了开发自主手术机器人所面临的一些挑战。

    Jul, 2017