Mar, 2024

无监督的肿瘤感知蒸馏用于多模态脑图像转换

PDF
TL;DR本文提出了一种无监督的肿瘤感知蒸馏师生网络 UTAD-Net，通过教师网络学习源模态到目标模态的映射，然后将映射知识蒸馏到学生网络，使其能够生成更真实的肿瘤区域和完整图像，实验表明我们的模型在图像质量的定量和定性评估以及后续分割任务上表现出竞争性的性能。
multi-modal brain imagesunsupervised multi-modal image translationtumor-aware distillationutad-netdownstream segmentation tasks
发现论文，激发创造
  • 基于 Transformer 的跨模态肿瘤分割的图像级监督和自训练

    我们提出了一种名为 MoDATTS 的新的半监督训练策略，用于处理自动医学图像分割中存在的模态遗传性问题，并通过图像转换和视觉转换器实现更准确的肿瘤分割。该模型在 CrossMoDA 2022 挑战中表现出优越的性能，并在 BraTS 2020 挑战数据集上显示出一致的改进。

    Sep, 2023

  • MS-MT: 用于跨模态前庭神经瘤和耳蜗分割的多尺度平均教师和对比非配对翻译

    提出了一种基于多尺度自组装的无监督领域自适应 (UDA) 框架，用于高分辨率 T2 影像上的自动分割 Vestibular Schwannoma (VS) 和 Cochlea。该方法结合了对比无对应图像翻译，多尺度深度监督和一致性规范化，自我训练和强化强化等技术，证明其在跨模态分割性能上具有很大的应用价值。

    Mar, 2023

  • 基于 CNN-Transformer 网络的多模态特征蒸馏用于不完整模态的脑肿瘤分割

    提出了一种采用 CNN-Transformer 混合网络的多模态特征蒸馏的准确脑肿瘤分割方法，用于处理缺少模态的脑肿瘤图像，通过多个模块实现了特征提取和融合，提高了缺失模态情况下的分割性能，实验证明了方法的有效性。

    Apr, 2024

  • 知识蒸馏实现的无监督多目标域自适应

    本文提出了一种新的无监督多目标域自适应方法，通过多教师知识蒸馏来训练 CNN，使其可以在多个目标领域上广义化。该方法通过逐步蒸馏目标域知识到一个共同的学生无直接学习域适应特征，同时保留每个目标（教师）的特异性以适应学生，通过在多项具有挑战性的 UDA 基准测试上的实证结果表明，我们提出的模型可以在多个目标域上提供较高水平的准确性。

    Jul, 2020

  • 无监督多模态神经机器翻译

    本研究提出了一种基于多模态机器翻译框架的无监督神经机器翻译方法，通过图像识别加强双向多模态翻译的学习效果，在 Multi30K 数据集上与传统基于文本的神经机器翻译相比，本方法有更好的实验结果。

    Nov, 2018

  • 基于知识蒸馏的非配对多模式分割

    本研究提出了一种新颖的多模式学习方案，以实现无配对交叉模态图像分割，该方案采用高度压缩的体系结构，通过共享所有卷积核跨 CT 和 MRI 和仅使用特定于模态的内部归一化层来对网络参数进行大量重用，通过知识蒸馏受启发的新颖损失项来显式约束我们推导出的模态之间的预测分布的 KL 散度来有效地训练这样的高度紧凑模型。在心脏结构分割和腹部器官分割两个多类分割问题上进行了广泛验证，实验结果表明，我们的新型多模式学习方案在两个任务上一致优于单模态培训和以前的多模式方法。

    Jan, 2020

  • 多模态到单模态的分割网络知识蒸馏

    本文介绍了一个用于医学图像分割的 KD-Net 框架，该框架可以从一个多模态网络（teacher）向一个单模态网络（student）传输知识，证明了其在使用 BraTS 2018 数据集进行脑肿瘤分割任务时，有效提高了分割的准确性。

    Jun, 2021

  • 多任务多尺度对比知识蒸馏在高效医学图像分割中的应用

    本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

    Jun, 2024

  • 基于优化轨迹提纯的医学图像领域自适应分类

    我们提出了优化轨迹蒸馏，这是一种统一的方法，从新的角度解决了两个技术挑战。我们充分利用了梯度空间的低秩特性，并设计了一种双流蒸馏算法，以从可靠的源获得外部指导来规范不充分标注的域和类的学习动态。我们在多个任务上对所提出的方法进行了广泛评估，结果证明了其在临床和开放世界中的显著效果和改进。

    Jul, 2023

  • 一阶段模态蒸馏用于不完整多模态学习

    基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在 RGB-D 分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

    Sep, 2023