线性模型迁移学习的普遍性
通过使用其他任务的假设集合,研究了一种广泛的以ERM为基础的线性算法,当传递的源假设组合适当时,证明了其具有加速收敛的泛化和过度风险的边界,然而,如果源假设组合不适合目标任务,那么它会恢复到常规的学习速率。
Dec, 2014
本研究提出了一种贝叶斯迁移学习框架,该框架利用源域和目标域之间的联合先验密度,定义高斯特征-标签分布的精度矩阵的联合Wishart密度作为一种转移有用信息的桥梁,提高了目标区域的分类性能。该方法是一种快速、基于闭式形式的最优贝叶斯迁移学习分类器,实验证明了其性能优于其他最先进的迁移学习和域适应方法。
Jan, 2018
本研究开发了一个统计极小化框架以表征在回归中通过线性和单隐藏层神经网络模型进行的迁移学习的基本限制,并提取出源数据和目标数据的标记数以及适当的相似性概念作为算法所能实现的目标泛化误差的下限。我们的下限提供了迁移学习的益处和限制的新见解,并通过各种实验验证了我们的理论发现。
Jun, 2020
本文提出了一种基于表示转移的学习方法来构建目标模型,该方法包括利用不同源表示构建适应目标数据的表示以及使用获得的模型作为细调过程的初始化,从而为线性回归提供了一种可行的迁移学习框架。
May, 2023
本研究旨在探讨部分相似性对转移学习表现的影响,在探究各种类型的转移学习的基础上,提供了实用的指导,以确定共同部分和任务特定部分的特征数,从而实现更好的泛化性能。
Jun, 2023
该研究开发出一种称为UTrans的可解释性统一转移学习模型,它可以检测可转移的变量和源数据,并基于假设检验提出源检测算法来排除不可转移的数据,通过多次实验比较预测误差和解释性等因素,表明 UTrans 相对于现有的算法具有较低的误差和更好的解释性,并将其应用于美国代际流动数据并将其与经典机器学习算法进行比较。
Jul, 2023
本文通过分析在只微调模型最后一层的情况下分类任务的性能传输,提出了一种新颖的任务转移分析方法,该方法通过改变类先验分布、标签和特征空间的方法变换源分布,并利用Wasserstein距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性,同时提出了最小化转移上限的变换源任务的优化问题,通过对最新的预训练模型进行大规模实证研究,证明了本方法在预测传输性方面的有效性。
Jul, 2023
分类、迁移学习、部分有序集、类别的子集和模型泛化是本研究的关键词。研究旨在建立类别子集之间可迁移性的理论框架,并探索测试所有类别时最佳性能的预测能力。研究还关注迁移学习中的少样本学习,以提供对迁移机制和模型泛化的更好理解。
Mar, 2024