自动转移:学习路由可转移表示
本研究提出了一种基于元学习的转移学习方法,可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置,该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。
May, 2019
本论文提出了一种自动网络适应方法,该方法通过迭代的滤波剪枝和网络优化,从 ImageNet 预训练的网络中去除目标任务的潜在冗余,实现紧凑、高效、适应目标任务的网络结构,并在五个实验数据集上表现出了优异的精度和计算效率。
Oct, 2018
本研究旨在提出多源模块化转移学习技术,以减少强化学习所需的环境交互次数并提高知识重用。我们支持这一技术的有效性,并进行了广泛而具有挑战性的视觉控制跨领域实验。
May, 2022
本文通过研究发现,针对新领域的迁移学习中,对于只有有限数据的情况下,通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时,对抗训练可以使学习到的表示偏向于保留形状而不是纹理,这影响了源模型的可迁移性,并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息,这至少部分解释了为什么对抗训练模型更实用。
Jul, 2020
AutoTransfer: 提出了一种 AutoML 的解决方案,它通过将先前的架构设计知识转移到新的任务,从而提高搜索效率,并在图机器学习领域的六个数据集上进行评估。
Mar, 2023
本文提出了一种新的领域适应的表示学习方法,使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征,该方法增加了标准层和一个新的反向梯度层,可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。
May, 2015
本文研究黑盒攻击的一种重要类型 —— 基于转移的对抗攻击,并提出了一种通用知识学习框架,通过构建多教师框架来减少模型特定特征,获得更好的输出分布,加强对抗转移性能,同时通过对学生和教师模型之间的梯度施加约束来进一步缓解输出不一致问题和增强对抗转移性能。实验表明,所提出的方法可以显著提高对抗转移性能。
Jul, 2023
本文提出了一种新的基于图的知识迁移方法,其中引入了知识迁移图和四个门函数来控制梯度,以实现更加灵活和多样化的迁移方式。实验结果表明,该方法在 CIFAR-10、-100 和 Tiny-ImageNet 数据集上实现了显著的性能改进,并能够发现出色的图结构。
Sep, 2019