Aug, 2023

内镜视频分析的自监督学习

TL;DR自监督学习 (SSl) 在计算机视觉中取得了重要突破,在生物医学中具有重要作用,特别是在需要高度专业知识的数据注释领域。本研究使用先进的 SSL 框架,即 Masked Siamese Networks (MSNs),对内窥镜视频分析进行研究,以检测和治疗感染、慢性炎症性疾病或癌症。我们构建了大规模的无标签内窥镜视频数据集,用于训练 MSNs,以充分利用 SSL 的优势,并通过有限的注释数据集进行二次训练,从而在内窥镜基准测试中实现了最先进的性能,如腹腔镜和结肠镜手术阶段识别以及结肠镜息肉表征。此外,我们实现了注释数据量的 50%减少,同时不降低性能。因此,我们的工作证明了 SSL 在内窥镜检查中可以大大减少对注释数据的需求。