Jun, 2023

基于多模态自蒸馏的医学图像分割模态不可知学习

PDF
TL;DR本研究提出了一种新的框架，Modality-Agnostic learning through Multi-modality Self-dist-illation (MAG-MS)，用于研究输入多模式的影响，以增强个体模式的表示学习，从而提高医学图像分割的效率和准确性，并提供了在选择输入模式方面有价值的见解和指导。
medical image segmentationmulti-modality imagingmodality-agnostic learningsegmentation precisioninput modalities
发现论文，激发创造
  • 利用在线互相知识蒸馏实现跨模态医学图像分割

    本文提出了一种利用形状先验知识和图像对齐模块，通过多模态数据协同分割医学图像的方法，并通过实验在 MMWHS 2017 数据集上验证了该方法在 CT 分割上的优越性。

    Oct, 2020

  • 通过模型自我消歧来学习多源数据的多功能医学图像分割

    通过利用现有数据的局部或稀疏标注分割标签，我们开发了一种成本效益方法来解决与来自不同来源的数据的标签歧义、模态、数据集和分割标签的不平衡相关的挑战，实验结果表明，我们的方法在腹部器官分割的多模态数据集上表现出卓越的性能，凸显出优化现有标注数据使用和减少新数据标注工作以进一步增强模型能力的潜力。

    Nov, 2023

  • 基于知识蒸馏的非配对多模式分割

    本研究提出了一种新颖的多模式学习方案，以实现无配对交叉模态图像分割，该方案采用高度压缩的体系结构，通过共享所有卷积核跨 CT 和 MRI 和仅使用特定于模态的内部归一化层来对网络参数进行大量重用，通过知识蒸馏受启发的新颖损失项来显式约束我们推导出的模态之间的预测分布的 KL 散度来有效地训练这样的高度紧凑模型。在心脏结构分割和腹部器官分割两个多类分割问题上进行了广泛验证，实验结果表明，我们的新型多模式学习方案在两个任务上一致优于单模态培训和以前的多模式方法。

    Jan, 2020

  • 多频率多尺度注意力下的领域通用医学图像分割

    为了解决深度学习方法在医学图像分割中常常忽视频率变异和多任务学习中信息丢失的问题，本研究提出了一种适用于医学图像分割的无模态域泛化网络 (MADGNet)。通过引入多频率和多尺度特征的 Multi-Frequency in Multi-Scale Attention (MFMSA) 块以及用于减轻多任务学习中的信息损失的 Ensemble Sub-Decoding Module (E-SDM)，MADGNet 成功提升了医学图像分割的性能并展现了优异的多模态分割表现。

    May, 2024

  • 多模态到单模态的分割网络知识蒸馏

    本文介绍了一个用于医学图像分割的 KD-Net 框架，该框架可以从一个多模态网络（teacher）向一个单模态网络（student）传输知识，证明了其在使用 BraTS 2018 数据集进行脑肿瘤分割任务时，有效提高了分割的准确性。

    Jun, 2021

  • 多模态脑肿瘤分割的模态感知与平移混合器

    本文介绍了一种新颖的模态感知和位移混合器，用于多模态图像的有效和鲁棒的脑肿瘤分割，通过模态感知模块和模态位移模块，实现了跨尺度和高层次表达的空间和模态信息交换，实验证明其在公共脑肿瘤分割数据集上优于现有方法，并展示了其有效性和鲁棒性。

    Mar, 2024

  • 基于特征分离和门控融合的鲁棒多模式脑肿瘤分割

    本研究提出一种新的多模态分割框架，使用特征解缠来将多模态数据分解为特定于每种模态的出现代码和吸收多模态信息的模态不变内容代码，从而通过在不同区域门控不同模态的贡献来融合来自每种模态的解缠内容代码，在各个模态数据缺失的情况下获得了优异的鲁棒性，尤其是在 BRATS 挑战数据集的脑肿瘤分割任务中表现出了优秀的性能。

    Feb, 2020

  • 医学图像分析的多模态自监督学习

    该论文提出了一种利用多个成像模式的新型自监督方法，设计了一个多模式拼图任务以促进多种图像模式的特征表征，提出了一种利用跨模态生成技术进行多模态数据增强的方法，实验表明该方法能够提高数据效率和语义表征，广泛应用于四种不同的下游任务，并取得了领先的成果。

    Dec, 2019

  • 一阶段模态蒸馏用于不完整多模态学习

    基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在 RGB-D 分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

    Sep, 2023

  • 深度证据融合下的多模态医学图像分割与不确定性量化及上下文折扣

    基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。

    Sep, 2023