本文介绍了一种用于眼科手术视频的语义分割数据集，以及在该数据集上对几个最新的深度学习模型的语义分割性能进行的基准测试。

Jun, 2019

在手术视频中进行语义分割在术中导航、术后分析和手术教育方面有应用价值。我们提出了一种用于建模视频时间关系的新架构，通过改善帧之间的时间一致性以提高视频语义分割精度，并在两个数据集上验证了其性能提升。

Jun, 2023

通过对白内障手术视频数据的分析，我们利用一种基于去噪扩散隐式模型（DDIM）和无分类器指导（CFG）的条件生成模型，能够根据复杂的多类别多标签条件（如手术阶段和手术工具组合）合成多样化、高质量的样本，并证实这些合成样本的工具能被分类器识别，在真实图像与合成图像之间难以区分，从而解决了数据稀缺问题，提高了针对罕见情况的工具分类任务的分类器性能。这种方法可以为白内障手术的自动化辅助系统提供可靠的真实合成数据。

Aug, 2023

通过使用场景图和图卷积网络对手术视频进行建模和分析，研究证明其在自动化手术工作流识别方面具有竞争性能，并对模型决策的解释性和稳健性提供了关键的临床支持。

Sep, 2023

通过上述五个贡献，本论文解决了白内障手术视频分析中的重要挑战，为构建高效的上下文感知系统铺平了道路。

Dec, 2023

近年来，计算机辅助干预和术后手术视频分析的领域正在被深度学习技术所重塑，这些技术取得了外科医生技能、手术室管理和整体手术结果方面的显著进展。本文介绍了最大的白内障手术视频数据集，该数据集满足构建计算机化手术工作流分析和检测白内障手术后异常的多样性需求。我们通过评估白内障手术视频中的跨领域器械分割性能，开展了白内障手术领域适应性研究。数据集和注释将在文章被接受后公开。

Dec, 2023

本文介绍了全面和多粒度的前列腺切除手术场景理解（GraSP）数据集，它将手术场景理解建模为具有不同粒度的互补任务的层次结构。我们的方法能够对手术活动进行多级理解，包括手术阶段和步骤识别等长期任务，以及手术器械分割和原子视觉动作检测等短期任务。为了利用我们提出的基准，我们引入了Transformers for Actions、Phases、Steps和Instrument Segmentation（TAPIS）模型，这是一个将全局视频特征提取器与来自器械分割模型的局部区域提议相结合的通用架构，以应对我们基准的多粒度特性。通过广泛的实验，我们展示了在短期识别任务中包括分割注释的影响，突出了每个任务的不同粒度要求，并证明了TAPIS模型相对于以前提出的基线和传统的基于CNN的模型的优越性。此外，我们通过在多个公共基准上验证我们的方法的鲁棒性，确认了我们数据集的可靠性和适用性。这项工作在内窥镜视觉领域迈出了重要的一步，为将来研究提供了一个新颖且全面的框架，以实现对手术程序的全面理解。

Jan, 2024

通过分析类别特征、训练和测试数据的组成以及建模参数对八个分割度量指标的影响，本研究提出了两种简单而有效的策略来改善腹腔镜手术数据中图像分割模型的实际适用性：（1）在训练过程中包含负样本，（2）调整分割模型的前景-背景权重以最大化与特定感兴趣度量相对应的模型性能，具体取决于临床用例。

Mar, 2024

通过视频进行手术场景感知对于推动机器人手术、远程手术和AI辅助手术至关重要，特别是在眼科领域。然而，缺乏多样化且注释丰富的视频数据集妨碍了智能系统在手术工作流分析方面的发展。为了填补这一空白，我们引入了OphNet，一个大规模的，由专家注释的眼科手术工作流理解视频基准。OphNet具有包含2,278个手术视频的多样化收藏，涵盖了66种白内障、青光眼和角膜手术，对102个独特的手术阶段和150个细粒度操作进行了详细注释。此外，OphNet提供了每个手术、阶段和操作的顺序和层次注释，可以全面理解和提高可解释性。此外，OphNet提供了时间定位注释，有助于手术工作流中的时间定位和预测任务。OphNet的手术视频总共约有205小时，比现有最大的手术工作流分析基准大约20倍。我们的数据集和代码已经在https://github.com/minghu0830/OphNet-benchmark上开放获取。

Jun, 2024

本研究针对外科图像中的仪器分割问题，提出了一种无监督的方法，通过将视频帧分割视为图划分问题，显著降低了对人工标注的依赖。使用自监督预训练模型提取特征，并通过拉普拉斯矩阵实现有效的分割，不仅在多个数据集上表现优异，还展示了其在临床应用上的潜在影响。

Aug, 2024