利用扩展和方向循环 GAN 增强结肠镜检查的损失图像转换
使用循环一致生成对抗网络(CycleGANs)进行图像转换并生成人工合成结肠息肉图像,利用生成图像来增强数据集的训练效果,提高卷积神经网络(CNN)检测息肉的 AUC 值,该方法为解决组织病理学图像分类任务中数据不平衡问题提供了一种有效解决方案。
Oct, 2019
通过使用 3D 技术和生成对抗网络相结合产生逼真的合成图像,我们提出了 CUT-seg,将分割模型和生成模型相互训练以生成逼真图像并学习肠息肉分割。我们利用最新的单向翻译模型,因为它们使用的内存显著较少,可以在训练环节中添加分割模型。相较于其他内存密集型图像转换方法需要两阶段训练,CUT-seg 表现更好,计算成本更低,并且只需要一个真实图像和零个真实标注就能在五个真实肠息肉分割数据集上取得有希望的结果。作为本研究的一部分,我们发布了 Synth-Colon,一个完全合成的数据集,包括 20000 个逼真的结肠图像以及有关深度和 3D 几何的其他细节。
Jul, 2023
本文提出了一种新颖的重建框架,采用对比深度特征和深度一致性深度图的对应方法,通过单一框架实现全局优化姿势,能够从频繁的跟踪失败中恢复,并估计全局一致的三维模型,从而实现了量化和质量上准确而健壮的三维结肠重建。
Jun, 2022
通过从单帧单目结肠镜视频中估计结肠深度图的新方法提高内部深度的估计,通过定制损失函数优化边缘和曲率估计误差,以及使用自定义合成数据库进行训练,该方法在深度估计方面达到了竞争水平。
Nov, 2023
本文提出了一种名为 VideoGAN 的生成对抗网络,用于跨不同域传输基于视频的数据,并通过对结肠镜数据的实验验证,表明我们的 VideoGAN 可以显著提高多中心数据集上结直肠息肉分割的精度,并可用于将图像从阴天转换为晴天的任务。
Apr, 2020
结直肠癌是世界上最常见的癌症之一。本文描述了 2022 年 EndoVis 挑战赛中的人工结直肠三维重建问题及其解决方案的研究成果,并展示了虚拟结直肠镜检查中深度预测问题的可靠解决方案,同时指出姿态估计问题仍然是一个待解决的研究方向。
Jul, 2023
提出了一种新的增强的双尺度和交叉生成一致性学习框架,用于半监督息肉分割,通过整合不同分辨率的交叉级相邻层来增强特征表达能力,采用尺度增强的一致性约束来处理形状尺寸和位置的变异,并通过交叉分段图重建原始和扰动图像来提高分割性能。
Dec, 2023
在结直肠镜息肉再识别中,传统方法侧重于视觉表示学习,而忽略了在训练期间探索语义特征的潜力,这可能导致在新场景中使用预训练模型时存在较差的泛化能力。为了缓解这一困境,我们提出了一种名为 VT-ReID 的简单而有效的训练方法,可以通过高层语义信息的交换显著丰富息肉视频的表示。此外,我们精心设计了一种新颖的聚类机制,通过对比学习引入文本数据的先验知识,以促进与丰富的无标签文本数据更好的分离。据我们所知,这是首次尝试在结直肠镜息肉再识别中使用视觉文本特征和聚类机制。实证结果表明,我们的方法明显优于当前最先进的方法。
Jul, 2023