面向目标的网络适应性调整,用于高效表征学习
提出了一种基于迁移学习的网络微调方法 NetTailor,它使用预训练的 CNN 层作为通用模块,可以与小的任务特定层组合生成新的网络,通过软注意力机制和复杂度正则化约束,最小化分类错误的同时降低网络复杂度。该方法可以使得适应简单任务的网络结构比适应复杂任务的网络结构更小,并且不降低参数共享和分类精度。
Jun, 2019
本文提出了使用预训练模型进行迁移学习并使用主动学习方法选取最有用的样本来有限微调模型,以此降低标注成本并实现深度神经网络的经济有效训练。在多个数据集和不同预训练模型上进行的实验证明了该方法的有效性。
Feb, 2018
本文提出了一种自适应微调方法 SpotTune,使用策略网络根据目标任务的数据实例来选择微调层或预训练层,实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法,并在 Visual Decathlon 数据集中表现优异。
Nov, 2018
该研究论文探究了通过可视化网络内部表征和量化学习过程中引入的变化(包括特征空间、参数空间和最大激活图像集合的度量)的方式来理解神经网络在艺术图像上所学习的内容,同时展示了一种双重微调策略可以提高较小数据集上的艺术图像分类性能。
Nov, 2020
本文研究卷积神经网络的迁移学习,在多个视觉识别任务上通过优化训练参数和特征提取参数达到了显著提高。同时提出了根据任务与源任务的距离将视觉识别任务进行分类的方法。
Jun, 2014
本文提出一种基于模型剪枝的迁移学习的简单且有效的方法 PAC-Net,包括三个步骤:修剪、分配和校准。该方法在各种各样和广泛的归纳迁移学习实验中取得了遥遥领先的表现。
Jun, 2022
本文通过研究发现,针对新领域的迁移学习中,对于只有有限数据的情况下,通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时,对抗训练可以使学习到的表示偏向于保留形状而不是纹理,这影响了源模型的可迁移性,并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息,这至少部分解释了为什么对抗训练模型更实用。
Jul, 2020
本研究提出一种用于视觉领域适应的 CNN 架构,利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息,其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。
Oct, 2015