本文提出了一种自适应微调方法 SpotTune,使用策略网络根据目标任务的数据实例来选择微调层或预训练层,实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法,并在 Visual Decathlon 数据集中表现优异。
Nov, 2018
本文提出了一种新的、称为弹性调整的 fine-tuning 方式,可以用于处理不同于预训练源的、但与其语义相近的实际数据。通过实验证明,相较于传统做法,在许多领域转移情况中调整中间或早期单元的效果更好。
Aug, 2020
本研究提出一种用于视觉领域适应的 CNN 架构,利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息,其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。
Oct, 2015
本文研究了无监督微调的问题,提出了两种简单有效的策略来将源数据和目标数据进行组合以实现更好的传递性能。通过在多个不同的目标数据集上进行广泛的实验,表明了所提出的 “无监督微调” 策略比朴素策略具有更好的传递性能。
Oct, 2021
本文提出了一种新的多源传递学习方法,它结合了源目标相似性和不同可靠性源之间的关系,并提出了一个综合的主动传递学习框架,包括分布匹配和不确定性采样,在合成和真实数据集上进行了广泛的实验,表明其在多项基准测试中优于其他现有模型。
Jul, 2018
本文提出了一种名为 DistillNearest 和 DistillWeighted 的多源蒸馏方法,通过利用任务相似度度量来选择单个合适的源模型以及加权多源蒸馏方法,解决了在资源受限制的情况下,通过有限标签获取高效而准确识别系统的问题。通过实验验证表明,这两种方法在准确性、计算效率等方面优于传统的迁移学习和半监督学习方法。
Apr, 2023
本文提出了一种新颖的对抗多臂赌博方法,自动学习将源表示路由到适当的目标表示,进而以有意义的方式结合这些表示以产生准确的目标模型,适用于小数据应用。
Feb, 2022
本文提出了一种基于 actor-critic 框架的加强型迁移学习方法,通过强化数据选择器来选择高质量源域数据,以帮助神经网络进行深度文本匹配,对两个主要的文本匹配任务进行了实验评估,结果表明该方法可以显著提高神经网络的性能。
Dec, 2018
本文通过研究发现,针对新领域的迁移学习中,对于只有有限数据的情况下,通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时,对抗训练可以使学习到的表示偏向于保留形状而不是纹理,这影响了源模型的可迁移性,并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息,这至少部分解释了为什么对抗训练模型更实用。
Jul, 2020
本研究探索了使用迁移学习来提高医学影像中深度卷积神经网络对器官分割的性能,研究结果表明迁移学习可改善标注的效率和提高准确的器官分割,在医学影像领域具有潜在应用价值。
Nov, 2023