机器学习在医学影像领域取得显著进展。针对缺少标注数据，我们总结介绍了如何使用半监督、多示例、迁移学习等学习方法，特别是针对诊断和分割任务。同时，我们探讨了这些学习方法之间的联系和未来的研究机会。

Apr, 2018

本文探讨了用自然图像数据集（ImageNet）通过标准大型模型和预训练权重进行迁移学习在深度学习医学成像应用中的方法。然而，此方法在自然图像分类和目标医学任务之间存在根本差异，并且人们对迁移效果的了解甚少。该研究表明，在两项大规模医学成像任务的性能评估中，迁移学习对性能的提升有限，而简单轻量级模型可以与ImageNet架构相当。此外，还探讨了迁移的权重尺度的独立特性，并阐述了对更高效的模型探索的意义。

Feb, 2019

通过研究Kolesnikov等人介绍的大规模预训练网络在胸部放射学、乳腺X线检查和皮肤科中的转移表现以及其在医学领域中的重要特性，我们发现，将自然图像转移到医学图像中是非常有效的，但只有在足够大的规模下才能实现。

Jan, 2021

通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务fine-grained数据预训练模型具有独特的局部特征表示，自我监督的ImageNet模型比有监督的ImageNet更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

Aug, 2021

研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

Jun, 2023

频率分析这一研究领域在理解神经网络中的表示学习机制方面具有重要作用。本研究通过实证调查，扩展了对频率快捷方式的理解，并验证了其在分类任务中的应用，结果显示频率快捷方式是可转移的，且无法完全避免，建议未来的研究应该专注于有效的训练方案以减轻频率快捷方式的学习。

Jul, 2023

我们建立了强大的对比和修复型自监督学习基线，证明中间层的微调对于对比型自监督学习更有效，而第三个季度的微调对于修复型自监督学习更有效。相对于端到端微调的标准，我们的最佳微调策略通过微调网络的前三个季度，相对提高了5.48%的性能，并提出了一种简单且有效的方法来利用多个自监督学习模型的互补优势，与独立使用最佳模型相比提高了3.57%的性能。因此，我们的微调策略不仅增强了个别自监督学习模型的性能，还可以有效利用多个自监督学习模型的互补优势，在自监督医学影像分析中取得了显著的改进。

Jul, 2023

本文旨在基于理论提供对于反问题的先进学习方法进行研究，探讨正则化方法及其收敛性的广义定义，该定义可以为未来的理论研究铺平道路。在基于先前用于监督学习的简单光谱学习模型的基础上，我们研究了适用于反问题的不同学习范式的关键属性，这些属性可以独立于具体的体系结构进行阐述。特别是，我们研究了正则化性质、偏差以及对训练数据分布的关键依赖。此外，我们的框架允许突出和比较不同范式在无限维限制条件下的特定行为。

Dec, 2023

针对医学影像和机器学习领域的一个主要挑战是如何有效地将预训练模型适应于专门的医学背景。本研究对应用于X光、MRI、组织学、皮肤镜检和内窥镜手术等不同医学影像领域的多种微调方法在预训练模型上的性能进行了全面的分析。结果显示，结合线性探测和全面微调等策略在50%以上的情况下能够明显提高性能，动态调整学习率的自动RGN方法在特定模态下能够提高11%的性能。此外，与传统的全面微调相比，DenseNet结构对替代的微调方法表现出更为显著的优势。本研究不仅为优化医学影像分析中的预训练模型提供了有价值的洞见，而且建议未来研究可以探索更先进的架构和微调方法。

Jun, 2024

该研究解决了医学影像分析中由于数据稀缺导致的临床任务应用限制问题。通过对16种预训练基础模型在19个多样化医学影像数据集上进行全面基准测试，发现BiomedCLIP模型在非常小的训练集上表现最佳，而大型CLIP模型在训练样本稍多时表现优异。此研究强调了为医学应用量身定制基础模型研究的必要性。

Aug, 2024