迁移学习中目标数据的价值
我们提出了新的极小极大结果,用于简洁地捕捉协变量偏移下源标记数据和目标标记数据之间的相对收益。我们展示了目标标记的收益由一个传输指数$\gamma$控制,这个指数编码了Q在局部相对于P的奇异性,并且允许了在之前的研究中似乎不可能进行的情况。实际上,我们的新的极小极大分析显示了一个连续的区域,从目标标记几乎没有收益的情况到目标标记显著提高分类的情况。然后,我们展示了最近提出的半监督程序可以扩展到适应未知的$\gamma$,因此只在有效时才请求标签,同时实现最小极大传输速率。
Mar, 2018
本文提出了一种新的多源传递学习方法,它结合了源目标相似性和不同可靠性源之间的关系,并提出了一个综合的主动传递学习框架,包括分布匹配和不确定性采样,在合成和真实数据集上进行了广泛的实验,表明其在多项基准测试中优于其他现有模型。
Jul, 2018
本研究开发了一个统计极小化框架以表征在回归中通过线性和单隐藏层神经网络模型进行的迁移学习的基本限制,并提取出源数据和目标数据的标记数以及适当的相似性概念作为算法所能实现的目标泛化误差的下限。我们的下限提供了迁移学习的益处和限制的新见解,并通过各种实验验证了我们的理论发现。
Jun, 2020
通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法TransRate,通过对目标任务示例进行一次遍历,度量传递性,作为预先训练模型提取目标示例特征和其标签之间互信息的方法,TransRate在32个预先训练模型和16个下游任务的广泛评估中表现极好,从特征表示的角度评估TransRate评估先前训练特征的完整性及其对于每一类别的紧凑性能力。
Jun, 2021
本文提出HASTE(HArd Subset TransfErability)方法,通过使用较难的目标数据子集来估计源模型转移到特定目标任务的可转移性,结合内部和输出表示方法提出两种技术来识别较困难的子集,从而可与任何现有可迁移度度量一起使用以提高其可靠性,实验结果表明,HASTE修改的指标与现有的可迁移度指标一致或更佳。
Jan, 2023
使用迁移学习和先验分布来提高分类器准确性,发现使用初始化的标准迁移学习在性能上表现比以前的研究要好得多,使用信息先验的方法在不同数据集上的相对收益不同,其中使用各向同性协方差矩阵的方法在可理解性和调整性上具有竞争力
May, 2024
本研究解决了迁移学习中关于从源风险到目标风险下降速度的基本连续性模量$\delta$的理解缺口。通过引入$\delta$,我们提出了一种统一的视角,扩展了现有相关性度量,并展示了自适应程序可以在缺乏先前分布知识的情况下有效估计,进而提高迁移学习的有效性和准确性。
Aug, 2024