Jan, 2024

具有开源模拟器和专家轨迹的自主导管术

PDF
TL;DR我们介绍了 CathSim，这是第一个开源的血管内干预模拟器，旨在通过实时性能加速自主导管技术的研究。通过与真实机器人的验证，我们展示了模拟器能够成功模拟真实机器人的行为。基于 CathSim，我们开发了一种多模态专家导航网络，并证明其在血管内导航任务中的有效性。实验结果表明，CathSim 有望显著加快自主导管领域的研究进展。
发现论文，激发创造
  • 内镜手术中的人工智能自主导航：系统综述

    人工智能在自主血管内操作导航方面的潜力很大，但目前仍处于实验概念验证阶段，技术准备水平为 3。我们强调指定性能度量的参考标准对于未来几年提出的数据驱动算法的比较至关重要。

    May, 2024

  • 自主超声导航的心脏超声模拟

    通过模拟管道生成大量的超声图像，以供导航相关的网络训练使用，从而实现快速准确的患者特异性超声图像生成并展示该方法在网络导航相关任务中的可用性。

    Feb, 2024

  • 通过多尺度语义匹配将仿真图像转换为 X 射线图像

    本论文中，我们提出了一种利用多尺度语义匹配的图像翻译方法，旨在将内镜模拟器中的图像翻译成 X 光图像。通过进行自领域和交叉域匹配，我们解决了图像翻译中存在的结构信息丢失等问题，实现了高度逼真的 X 光图像生成效果，并超过其他最先进的方法。

    Apr, 2023

  • GarchingSim：具备逼真场景和简洁工作流程的自动驾驶模拟器

    用于评估自动驾驶算法的仿真器，具有逼真的场景、用户友好的工作流程和高度准确的车辆动力学模型。

    Jan, 2024

  • 利用逆增强学习实现机械抽栓手术中导管和导丝的自主导航

    利用逆强化学习 (IRL) 探索了在机械血栓切除 (MT) 血管中实现自主导航的可行性，通过利用专家演示推断奖励函数并采用软演员 - 评论家算法 (soft actor-critic) 进行模型训练，结果表明通过奖励塑造来训练模型可以改进 MT 的可用性和精确性。

    Jun, 2024

  • CADSim: 鲁棒且可扩展的野外 3D 重建用于可控传感器模拟

    实现安全可靠的自动驾驶车辆开发的关键是逼真的模拟。传感器模拟是其中的核心组成部分，可以在模拟中测试整个自主系统。然而，目前的基于传感器数据的自动重建方法在野外数据的稀疏性和噪声方面存在问题。为了解决这些问题，我们提出了 CADSim 方法，它通过小量 CAD 模型的部件感知目标类别先验和可微分渲染来自动重建包括有良好真实感的车辆几何形状，包括关节轮。我们的实验证明，与现有方法相比，我们的方法可以更准确地从稀疏数据中恢复形状，并且训练和渲染效率高。我们在几个应用中展示了我们重建的车辆，包括对自主感知系统的准确测试。

    Nov, 2023

  • 自主导丝引导导航的零射策略的强化学习

    使用零 - shot 学习策略进行三维自主内血管导航，通过使用非常小的训练集合的支路模式，我们的强化学习算法能够学习控制，并应用于不需要重新训练的未知内血管解剖结构。

    Mar, 2024

  • NAVSIM：数据驱动的无反应自主车辆模拟与基准测试

    在这篇论文中，我们介绍了一种介于开环评估和闭环评估之间的评估范式，即使用大型数据集与非反应式模拟器相结合，实现大规模真实世界基准测试。我们展示了该方法在衡量终到终自动驾驶时更好地与闭环评估对齐，并在 CVPR 2024 的新竞赛中取得了一些新的见解。

    Jun, 2024

  • OASim：基于神经渲染的开放自适应驾驶模拟器

    通过隐式渲染技术和生成模型对数据进行生成，我们提出了 OASim，一种自适应的开放式模拟器和自动驾驶数据生成器，具有高质量的场景重建、轨迹编辑、车辆模型库、传感器模型库和可定制的数据生成系统等特点。

    Feb, 2024

  • CathFlow: 使用光流和 Transformer 对介入超声中导管进行自监督分割

    我们介绍了一种自我监督深度学习架构，用于在纵向超声图像中分割导管，并消除对标记数据的需求。该模型在合成超声数据和硅主动脉模型图像上进行验证，展示了其未来在临床数据中应用的潜力。

    Mar, 2024