Med-Tuning：探索医学体积分割的参数高效转移学习

Apr, 2023

Med-Tuning：探索医学体积分割的参数高效转移学习

Med-Tuning: Exploring Parameter-Efficient Transfer Learning for Medical Volumetric Segmentation

Wenxuan Wang, Jiachen Shen, Chen Chen, Jianbo Jiao, Yan Zhang...

TL;DR本研究提供了基于深度学习的医学体积分割方法，既可以从头开始训练模型，也可以遵循标准的 “预训练，然后微调” 方法。本研究首次提出了一种名为 Med-Tuning 的新框架，基于内部阶段特征增强和阶段间特征交互，实现了医学级体积分割的参数高效转移学习，可在减少调整参数成本的情况下实现比以前最先进的参数高效转移学习方法和完全微调更好的分割效果。

Abstract

deep learning based medical volumetric segmentation methods either train the model from scratch or follow the standard "pre-training then finetuning" paradigm. Although finetuning a well pre-trained model on down

deep learning medical volumetric segmentation transfer learning med-tuning parameter-efficient

发现论文，激发创造

从稀疏标注的 3D 医学图像数据集进行迁移学习

本研究探索了使用迁移学习来提高医学影像中深度卷积神经网络对器官分割的性能，研究结果表明迁移学习可改善标注的效率和提高准确的器官分割，在医学影像领域具有潜在应用价值。

Nov, 2023

基于提示的 Transformer 模型调参用于多中心医学图像分割

本文提出了一种基于 prompts 的微调策略，将预训练的 transformer-based 分割模型适应于新的医疗中心数据，以实现医疗图像分割，不仅提升了在新医疗中心数据上的表现，同时也显著降低了细调预训练模型的计算和时间成本。

May, 2023

DVPT：面向医学图像分析的大型预训练模型的动态视觉提示调优

通过引入动态视觉提示调整方法，本研究提出了一种适应多样的医学图像输入变化的参数高效微调方法，命名为 DVPT，该方法从大模型中提取有益于下游任务的知识，可通过仅使用少量可训练参数从零开始训练医学图像分析模型。

Jul, 2023

医学图像分类中的迁移学习的微调策略的比较

针对医学影像和机器学习领域的一个主要挑战是如何有效地将预训练模型适应于专门的医学背景。本研究对应用于 X 光、MRI、组织学、皮肤镜检和内窥镜手术等不同医学影像领域的多种微调方法在预训练模型上的性能进行了全面的分析。结果显示，结合线性探测和全面微调等策略在 50% 以上的情况下能够明显提高性能，动态调整学习率的自动 RGN 方法在特定模态下能够提高 11% 的性能。此外，与传统的全面微调相比，DenseNet 结构对替代的微调方法表现出更为显著的优势。本研究不仅为优化医学影像分析中的预训练模型提供了有价值的洞见，而且建议未来研究可以探索更先进的架构和微调方法。

Jun, 2024

基于稀疏性和混合性灵感的视觉参数高效微调在医学诊断中的应用

基于 LVM 的 Sparsity 和 Hybridity 特性，利用 SH-PEFT 方法在医学诊断中通过训练少量的权重，超越了全模型微调，并达到了同其他针对特定医学任务优化的模型可比较的性能，表明大型模型传输在医学诊断中具有巨大潜力。

May, 2024

MedContext：学习医学体积分割的上下文线索

提出了一种称为 MedContext 的通用训练框架，可以与任何现有的 3D 医学分割训练框架结合，无需大规模标注的体积医学数据或专门的预训练 - 微调阶段，并通过学习在输出分割空间中重构器官的缺失部分，以有效地学习自监督上下文提示，以提高分割性能。

Feb, 2024

Med3D：三维医学影像分析的迁移学习

本研究为培训深度学习算法所需数据量的问题提出了一种解决方案，通过建立医学图像分割数据集和使用 Med3D 进行多域协同训练，可以加速涉及 3D 医学图像的任务的训练收敛速度和提高准确度。

Apr, 2019

深度学习中的医学图像分割实现跨维度迁移学习

本论文介绍了一种将自然图像上训练的 2D 分类网络的效率转移到 2D、3D 单模态和多模态医学图像分割应用中的高效方法，该方法基于权重转移和维度转移的两个关键原则，实验证明其在多维医学图像分割方面表现出色。

Jul, 2023

基于层裁剪的医疗报告摘要和医学对话生成参数高效微调

本文介绍了一个包含 LoRA 和结构化层剪枝的模型微调框架，用于对医学报告进行摘要提取，并且该框架可以通过微调少量参数和剪枝一部分 Transformer 层，加速了训练速度，减少 GPU 内存的使用，并且保持自由文本生成质量的同时，提高了模型的效率和效益。

May, 2023

一个神经网络进行全局的医学三维图像分割系统：一种通用的轻量级准确分割系统

研究介绍了一个简单而彻底评估的深度学习框架，应用于任意医学图像体的分割，同时不需要任务特定的信息和人为干预。该系统基于一个固定的模型拓扑和固定的超参数集，排除了模型选择的过程和方法级别的过拟合。此外，使用多平面数据增强，结合了一个基于常见 U-Net 的 2D 架构，让 2D 模型学习表示 3D 图像体的表示方法，从而提高了泛化性能。

Nov, 2019