该研究提出了一种利用反馈机制的学习算法，通过添加反馈层和生成强调向量，不断提升卷积神经网络的性能，特别适用于任何预先训练的模型，并在四个对象分类基准数据集上进行了测试，结果表明利用该算法训练 CNN 模型的优势。

Aug, 2017

本文研究表明，用预先训练的大规模数据集上的模型进行知识转移进行微调，可以帮助构建在小规模数据集上有效的模型。通过针对最后一个线性层重新训练的转移学习的最新对抗性攻击可以成功欺骗通过端到端微调进行转移学习的模型，这引起了许多工业应用的安全问题。相比之下，没有转移训练的随机初始化的模型通常表现出更强的鲁棒性，虽然这些模型的准确性往往较低。为此，我们提出了一种称为嘈杂特征蒸馏的新的转移学习方法，可以从随机初始化的网络进行训练，同时可以达到与微调相竞争的清洁数据性能。

Feb, 2020

为了解决小规模数据下优化问题，我们提出了一种对预训练深度神经网络进行微调的简单而有效的正则化方法，它的核心策略是将模型参数聚类，确保聚类内的相似性和聚类间的差异性，提高参数搜索空间的正规性； 具体而言，我们使用强化学习搜索策略和递归网络来学习每个网络层的最优分组，实验结果表明，相较於其他最新的基于微调的 k-shot 学习策略，我们的方法可以轻松应用于几种流行的卷积神经网络，提高了 10% 以上的性能。

Oct, 2017

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

本文提出了一种称为 ReFF 的方法，通过解释输出来探测与任务相关的特征并规范卷积神经网络，以应对训练和测试数据集分布不同的情况，并在测试数据上提高了准确度。

Feb, 2022

本文提出了一种渐进无监督学习（PUL）方法，将预训练的深度表示转移到未见过的领域来改进人员重新识别（re-ID）的准确度，并使用自主学习自然地表达了整个过程。

May, 2017

通过剪枝和迁移学习，我们提出了一种新颖的前馈神经网络构建方法，能在不损失准确率的情况下压缩参数数量超过 70%，并且通过精心选择剪枝参数，大多数精炼模型的性能优于原始模型，从而不仅有助于更高效的模型设计，而且更有效的使用。

Dec, 2023

本研究提出了一种简单而有效的方法，即使用预训练模型进行零 - shot 结构化剪枝，从而在尽量减少计算量的情况下实现性能的提升，实验证明，在低计算量条件下对预训练模型进行卷积过滤的剪枝可以带来超过 20% 的性能提升。

Apr, 2023

使用模拟退火算法的 SEAL 方法，在迭代学习中起到优化前几层学习的作用，相对 LLF 方法在传输学习和 few-shot 任务上有更好的表现。

Apr, 2023

本文介绍了一种新的架构和方法，用于无监督目标识别，自动提取 CNN 模型中的特征，并将其与基于 Hopfield 网络的联想记忆库结合使用，消除了监督深度学习中的反向传播，提供了良好性能。

May, 2018