该综述文章着重介绍了目前基于纯视觉的、不附加任何标记的单帧和带有时间信息的最小侵入性手术图像中手术工具分割和跟踪方法，重点关注深度学习方法和公开数据集的使用，讨论了存在的不足之处和未来发展的潜能。

Apr, 2023

通过图学习、多模态信息和交叉验证，我们提出了一种新的视觉-运动学图学习框架，精确地对给定的各种手术过程中的手术器械尖端进行分割。

Sep, 2023

通过对交互提示的工程化，我们评估了使用不同类型提示的医学图像交互分割模型在测试时间的可变性，以期找到一种简单高效的最佳提示选择方法。

Nov, 2023

准确的工具分割对于计算机辅助程序至关重要。在医学场景中，由于存在伪影和有限的训练数据，这项任务存在挑战。在未见数据上具有普遍性的方法代表了一个有趣的途径，其中零样本分割提供了解决数据限制问题的选项。使用Segment Anything Model（SAM）进行初探性工作表明，基于边界框提示的方法具有显著的零样本普适性，然而基于点的提示导致性能下降，并且在图像破坏的情况下进一步恶化。我们认为，SAM在高度受损图像上进行了过度分割，导致仅考虑单个分割掩码时性能下降，而重叠目标的分割掩码的组合则能产生准确的预测。本文利用SAM生成内窥镜帧的过度分割预测，并使用地面真实工具掩膜分析SAM的结果，当选择最佳的单个掩码作为预测时以及当结合所有与感兴趣对象重叠的各个掩码以获得最终预测掩码时。我们使用合成损坏、强度不同的Endovis18和Endovis17仪器分割数据集以及一种自行创建的现实世界数据集进行分析。将过度分割的掩码组合可提高IoU。此外，在清晰图像上选择最佳单个分割时，得到了具有竞争力的IoU得分。结论：组合的SAM预测结果在一定程度的破坏下显示出了改进的结果和鲁棒性，然而在医学领域实施这些模型需要恰当的提示策略。

Feb, 2024

研究通过开发Surgical-DeSAM方法，利用Bounding Box提示和实时机器人手术，实现了实时仪器分割，并在MICCAI手术仪器分割挑战EndoVis 2017和2018数据集上显著改进仪器分割方法的性能。

Apr, 2024

本研究针对外科图像中的仪器分割问题，提出了一种无监督的方法，通过将视频帧分割视为图划分问题，显著降低了对人工标注的依赖。使用自监督预训练模型提取特征，并通过拉普拉斯矩阵实现有效的分割，不仅在多个数据集上表现优异，还展示了其在临床应用上的潜在影响。

Aug, 2024

本研究解决了内镜下黏膜下解剖手术（ESD）中手术阶段实时识别的准确性问题。提出的SPRMamba框架利用Mamba进行长期时间建模，同时引入了Scaled Residual TranMamba模块来捕获细微特征，显著提高了识别效果。实验结果显示，SPRMamba在不同的手术阶段识别任务中均优于现有的最佳方法，具有更强的鲁棒性。

Sep, 2024

本研究解决了现有数据集中缺乏多层次精细运动理解的不足，提出了一个新的多层次外科手术动作数据集CoPESD，旨在为大规模视觉语言模型的训练提供支持。该数据集包含17,679张图像和88,395种多层次动作，能有效提升机器人辅助手术的精确性和减少风险，推动内窥镜下技术的自动化研究。

Oct, 2024

本研究解决了深度学习在外科场景分割中对未见分布或模态的泛化能力不足的问题，通过实例归一化和特征协方差映射技术结合风格与内容信息，提升特征表示的鲁棒性与可泛化性。我们的创新方法在EndoUDA肠息肉数据集和Barrett食管数据集上的表现优于现有最先进的方法，分别提升了13.7%和19%的准确率，显示出该方法在内窥镜数据分析中的潜力。

Oct, 2024

本研究解决了机器人辅助内窥镜下粘膜下层解剖（ESD）中解剖轨迹预测的困难，提升了手术决策的准确性和安全性。我们提出了ETSM数据集及RCMNet框架，将解剖轨迹预测与置信度映射结合，以优化安全边际预测，实验结果表明该方法显著提高了解剖安全性，临床应用潜力巨大。

Nov, 2024