KDDNov, 2023

TCuPGAN：面向公众科学优化人机交互的新型框架

PDF
TL;DR大数据时代下，为了减少人工标记和分类大型数据集的工作量，我们提出了一种基于生成对抗网络和长短期记忆的 3D 分割模型，结合众包式的公民科学项目，使得志愿者只需查看部分图像切片并校正其中机器无法正确处理的图像，从而极大地降低了志愿者在公民科学项目中的工作量。
发现论文，激发创造
  • 基于时间立方 PatchGAN (TCuP-GAN) 的自动化 3D 肿瘤分割

    利用最新的深度学习技术开发稳健的通用三维分割框架是不同生物医学领域中的一个活跃研究领域，该研究介绍了一种称为 Temporal Cubic PatchGAN (TCuP-GAN) 的体素到体素转换模型，将生成性特征学习框架与卷积长短时记忆网络 (LSTMs) 相结合，用于三维分割任务，展示了该框架在四个分割挑战 (成人胶质瘤、脑膜瘤、儿童肿瘤和撒哈拉以南非洲子集) 的数据上的能力，并使用 LesionWise Dice 相似度和 95% Hausdorff 距离度量了其性能，展示了我们的框架在所有挑战中成功学习到了具有强鲁棒性的多类别分割掩模，这项基准工作为将 TCuP-GAN 应用于其他多类任务如电子显微镜成像中的多细胞器分割等未来工作努力提供了一个基础。

    Nov, 2023

  • 基于生成对抗学习的少样本 3D 多模态医学图像分割

    我们提出了一种基于生成对抗网络（GANs）的新方法，用于使用标记和未标记的图像训练分割模型，并针对神经影像学中的 3D 多模态医学图像分割问题进行了全面分析。在对 iSEG-2017 和 MRBrainS 2013 数据集进行试验后，我们报告了与完全监督训练相比的显着性能提高。

    Oct, 2018

  • 3DGAUnet: 基于 3D U-Net 的 3D 生成对抗网络生成器，在胰腺癌的临床肿瘤图像数据中实现准确和有效的合成

    通过使用生成对抗网络（GAN）技术，我们开发了一个名为 3DGAUnet 的新型 GAN 模型，用于合成胰腺导管腺癌（PDAC）肿瘤和胰腺组织的逼真的三维 CT 图像，以提高 PDAC 的形状和纹理学习，从而增强了 PDAC 肿瘤的准确性和早期检测的能力。

    Nov, 2023

  • 用于小麦穗分割样本合成的改进 CycleGAN

    使用深度学习模型结合生成对抗网络填补模拟数据与真实数据之间的差距，开发了逼真的、用于小麦苞片分割的合成数据集，并利用该数据集训练深度学习模型，取得了高达 83.4% 的 Dice 分数在内部数据集以及 79.6% 和 83.6% 的 Dice 分数在两个外部全局小麦苞头检测数据集上。该方法不仅适用于小麦苞片分割，还可以推广到其他作物类型或者具有重复、密集模式的图像，例如细胞成像。

    Feb, 2024

  • 基于双向 RNN 的 3D 医学图像分割少样本学习

    本文提出了一种基于 3D 少样本学习的器官分割框架，通过学习支撑数据的 2D 片段与查询图像之间的关系，包括一个学习编码特征的双向门控循环单元（GRU），以及在使用任意支撑和查询数据之前通过迁移学习方法更新模型来适应目标图像和器官的特征。在三个 3D CT 数据集上测试，该模型的性能显著优于最先进的少样本分割模型，并且与使用更多目标训练数据训练的完全监督模型相当。

    Nov, 2020

  • 统一解剖分割的探索：通过知识聚合和解剖指南自动生成全身 CT 数据集

    通过使用基于 nnU-Net 的伪标签和解剖导向的伪标签细化的顺序过程，结合各种碎片化的知识库，我们生成了一个包含 142 个体素级标签对 533 个体积进行了全面解剖覆盖的全身 CT 扫描数据集，该数据集已获得专家批准。我们的方法在标签整合阶段不依赖于手动注释。使用人类专家评估、在 BTCV 数据集上进行的深度学习有用性基准测试（在不使用其训练数据集的情况下实现了 85% 的 Dice 分数）以及医学有效性检查，我们检验了其合理性和实用性。除数据集外，我们还发布了能够对 CT 数据上的 142 种解剖结构进行预测的训练好的统一解剖分割模型。

    Jul, 2023

  • 一种用于自动化 3D 医学图像分割的动态交互学习框架

    基于深度学习的医学图像自动分割系统面临大量数据标注成本和模型迭代中的高延迟问题，本研究提出了一种动态交互学习框架，通过将交互式分割与端到端弱监督学习和流式任务集成，解决了这些挑战。我们开发了新颖的重放和标签平滑方案，克服了灾难性遗忘并提高了在线学习的鲁棒性，并在每个图像上同时优化前端预测和深度学习分段器的多轮交互式分割模块。通过空间残差图，我们训练的分段器明确地指导下一步的用户干预，从而实现了弱监督信号的蒸馏。通过在三维分割任务（NCI-ISBI2013 和 BraTS2015）上的评估，我们的框架生成了与离线训练基准相匹配的在线学习性能。此外，我们的框架减少了 62% 的标注工作量，并且在与具有完整 ground truth 的在线和离线学习进行对比时，生成了具有竞争力的 dice 分数。此外，由于其灵活性和响应能力，这样的框架可以部署在保证数据安全和简便维护的医院防火墙之后。

    Dec, 2023

  • 基于不确定性引导的人机协作增强分割

    为解决深度学习算法在临床应用中缺乏透明度的问题，研究提出了一种基于不确定性引导标注的框架，通过量化不确定性和开放临床人员指导，实现自动质量控制，提高算法性能。

    Feb, 2024

  • 基于循环和形状一致性生成对抗网络的多模态医学体积转换和分割

    本研究提出了一种通用的交叉模态医学图像合成方法，通过端到端的三维卷积神经网络实现具有真实感的立体图像合成和分割任务，以便作为补充训练样本，进一步提高分类器的泛化能力，生成放射疗法计划所需的 X-ray 衰减图等。对 4,496 个 CT 和磁共振成像 (MRI) 心血管体积的广泛实验表明，两个任务相互促进，耦合这两个任务比单独解决它们更有利。

    Feb, 2018

  • 一种新的集成学习框架用于三维生物医学图像分割

    提出了一种新的集成学习框架，其结合了 2D 和 3D 模型的优点，通过全卷积网络基于元学习器来提高 2D 和 3D 模型的结果，实现了在完全监督、半监督和转导设置下，相对于最先进的图像分割方法，取得了优越的性能。

    Dec, 2018