Dec, 2023

白内障手术数据集用于场景分割、相位识别和异常检测

PDF
TL;DR近年来，计算机辅助干预和术后手术视频分析的领域正在被深度学习技术所重塑，这些技术取得了外科医生技能、手术室管理和整体手术结果方面的显著进展。本文介绍了最大的白内障手术视频数据集，该数据集满足构建计算机化手术工作流分析和检测白内障手术后异常的多样性需求。我们通过评估白内障手术视频中的跨领域器械分割性能，开展了白内障手术领域适应性研究。数据集和注释将在文章被接受后公开。
computer-assisted interventionspost-operative surgical video analysisdeep-learning techniquessurgical scene understandingcataract surgery videos
发现论文，激发创造
  • CaDIS: 白内障图像分割数据集

    本文介绍了一种用于眼科手术视频的语义分割数据集，以及在该数据集上对几个最新的深度学习模型的语义分割性能进行的基准测试。

    Jun, 2019

  • 深度学习辅助白内障手术视频分析

    通过上述五个贡献，本论文解决了白内障手术视频分析中的重要挑战，为构建高效的上下文感知系统铺平了道路。

    Dec, 2023

  • 白内障手术中的有效语义分割：最重要的因素是什么？

    我们的工作提出了神经网络设计选择，对一项具有挑战性的公共基准测试，即白内障手术（CaDIS）进行了研究，并达到了最高水平。通过有效地处理类别不平衡问题，在三个语义分割任务中实现了强大的性能表现。我们考虑和评估了两种概念上简单的数据过采样方法以及不同的损失函数。我们展示了网络架构和任务上的显着性能提高，特别是在最稀有的工具类上，从而提出了一种在考虑不平衡成分时实现高性能的方法。我们的代码和训练好的模型可在以下链接找到，可以在未见过的手术视频上获得定性结果 |url1| |url2|。

    Aug, 2021

  • 使用引导扩散模型合成罕见白内障手术样本

    通过对白内障手术视频数据的分析，我们利用一种基于去噪扩散隐式模型（DDIM）和无分类器指导（CFG）的条件生成模型，能够根据复杂的多类别多标签条件（如手术阶段和手术工具组合）合成多样化、高质量的样本，并证实这些合成样本的工具能被分类器识别，在真实图像与合成图像之间难以区分，从而解决了数据稀缺问题，提高了针对罕见情况的工具分类任务的分类器性能。这种方法可以为白内障手术的自动化辅助系统提供可靠的真实合成数据。

    Aug, 2023

  • OphNet：眼科手术工作流程理解的大规模视频基准

    通过视频进行手术场景感知对于推动机器人手术、远程手术和 AI 辅助手术至关重要，特别是在眼科领域。然而，缺乏多样化且注释丰富的视频数据集妨碍了智能系统在手术工作流分析方面的发展。为了填补这一空白，我们引入了 OphNet，一个大规模的，由专家注释的眼科手术工作流理解视频基准。OphNet 具有包含 2,278 个手术视频的多样化收藏，涵盖了 66 种白内障、青光眼和角膜手术，对 102 个独特的手术阶段和 150 个细粒度操作进行了详细注释。此外，OphNet 提供了每个手术、阶段和操作的顺序和层次注释，可以全面理解和提高可解释性。此外，OphNet 提供了时间定位注释，有助于手术工作流中的时间定位和预测任务。OphNet 的手术视频总共约有 205 小时，比现有最大的手术工作流分析基准大约 20 倍。我们的数据集和代码已经在 https://github.com/minghu0830/OphNet-benchmark 上开放获取。

    Jun, 2024

  • 白内障手术视频中的器械分类的跨数据集适应性

    在这篇论文中，我们强调了普通白内障手术中的领域转换问题，并提出了一种名为 Barlow Adaptor 的新型端到端无监督领域自适应方法，通过对不同领域之间的特征进行对齐，减少冗余和批处理大小需求来改善跨数据集性能。通过在两个白内障手术数据集上的实验证明，该方法的性能超过了现有的无监督领域自适应方法 6%。

    Jul, 2023

  • EgoSurgery-Phase：开放式手术视频中手术阶段识别的数据集

    为解决开放手术阶段识别研究的不足，该研究提出了一种基于眼球凝视的遮蔽自编码器（GGMAE）方法，并介绍了一个名为 EgoSurgery-Phase 的新的视角手术视频数据集，有效提高了开放手术阶段识别的准确性。

    May, 2024

  • 弱监督下的外科手术阶段识别

    通过图像分割和自监督学习，我们提出了一种基于随机游走的算法来实现逐帧术期预测，并利用稀疏时间戳或少样本学习的形式进行弱监督。在使用公共的腹腔镜胆囊切除术视频数据集进行实验验证时，我们的方法表现出了低复杂度和在小数据情况下的良好性能。

    Oct, 2023

  • 利用长短时空聚合转换器进行显微白内障手术的阶段特定增强现实引导

    研究了一种针对白内障手术的相位特定的增强现实（AR）辅助系统，该系统通过识别手术阶段提供定制的 AR 信息，利用多任务学习和时空聚合转换网络，抽取空间特征并结合时间特性，进一步通过临床实验验证了其在手术中的潜力。

    Sep, 2023

  • 通过深度学习预测白内障手术后人工晶状体脱位

    通过对白内障手术的大规模视频数据集进行研究，提出了第一个全自动的镜片展开延迟、旋转和不稳定性计算框架，并验证了该框架在手术过程中评估镜片统计数据方面的可靠性，结果表明该框架可以帮助预测术后晶状体脱位的发生。

    Dec, 2023