可训练 Batch Norm 参数对迁移学习的表现影响

Feb, 2021

可训练 Batch Norm 参数对迁移学习的表现影响

Partial transfusion: on the expressive influence of trainable batch norm parameters for transfer learning

Fahdi Kanavati, Masayuki Tsuneki

TL;DR本文探究了深度学习在医学图像上的转移学习技术，着重研究了 Batch Normalisation 层的可训练权重在 fine-tune 过程中的表现并发现只对其可训练权重 fine-tune 可以提高模型性能和收敛速度。

Abstract

transfer learning from ImageNet is the go-to approach when applying deep learning to medical images. The approach is either to fine-tune a pre-trained model or use it as a feature extractor. Most modern architect

transfer learning deep learning medical images batch normalisation trainable weights

发现论文，激发创造

关于 CNN 中随机特征的表现力 —— 训练 BatchNorm 和仅 BatchNorm

本文揭示 BatchNorm 的固有特性，即通过学习仿射变换参数达到卓越的性能，结果表明这种方式可以实现神经网络中的显著表现。

Feb, 2020

医学影像迁移学习解析

本文探讨了用自然图像数据集（ImageNet）通过标准大型模型和预训练权重进行迁移学习在深度学习医学成像应用中的方法。然而，此方法在自然图像分类和目标医学任务之间存在根本差异，并且人们对迁移效果的了解甚少。该研究表明，在两项大规模医学成像任务的性能评估中，迁移学习对性能的提升有限，而简单轻量级模型可以与 ImageNet 架构相当。此外，还探讨了迁移的权重尺度的独立特性，并阐述了对更高效的模型探索的意义。

Feb, 2019

仅调整规范层的表达能力

本研究探讨了针对正则化层进行精调的可行性，并发现仅针对归一化层的调整能够重构任何目标网络，并验证了这一结论在过度参数化情况下仍然成立。

Feb, 2023

参数高效微调中 Transformer 模块的迁移性实证研究

本文旨在通过 fine-tuning 各种 transform 的模块，找寻最优子网络并探究不同 transformer 模块在将知识从预训练模型传输到下游任务方面的能力，结果显示其中的 LayerNorms 具有最佳的限制可训练参数数量和知识传输能力，并且这种效果可能是由于相对于其他模块，在预训练 BERT 中，它们具有更高的权重大小。

Feb, 2023

卷积网络迁移学习的显式归纳偏置

本文研究在归纳迁移学习中，fine-tuning 方式相较于从头训练卷积神经网络具有更好的表现。为了提高 fine-tuned 模型在目标任务上的泛化性能，本文探究了多种正则化方法，最终推荐采用 $L^2$ 惩罚并将预训练模型作为基准的方法作为迁移学习任务的 baseline。

Feb, 2018

关于层标准化调整在视觉 Transformer 连续学习中的有效性

通过回顾和扩展简单的迁移学习思想：学习任务特定的归一化层，我们在维持竞争性性能的同时降低了计算成本，在 ImageNet-R 和 CIFAR-100 实验中，我们的方法在计算上更加经济且结果要么优于现有技术水平，要么与其相媲美。

Aug, 2023

卷积神经网络在艺术图像中迁移学习的分析

该研究论文探究了通过可视化网络内部表征和量化学习过程中引入的变化（包括特征空间、参数空间和最大激活图像集合的度量）的方式来理解神经网络在艺术图像上所学习的内容，同时展示了一种双重微调策略可以提高较小数据集上的艺术图像分类性能。

Nov, 2020

无批归一化训练深度神经网络

本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

Aug, 2020

聚焦于效率：LayerNorm 作为细调医学视觉语言预训练模型的催化剂

通过细调 LayerNorm 层，在医疗视觉语言模型（Med-VLMs）中实现了传统细调方法的高效性、准确性和泛化能力，特别适用于大规模 Med-VLMs。

Apr, 2024

提高批标准化的四个必知技巧

本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

Jun, 2019