从概率角度进行转移学习,估计分类的后验比率
本文研究了在多任务和迁移学习中使用稀疏编码和字典学习,通过对高维或无限维空间中的字典的原子的稀疏线性组合进行假设,以及多任务和迁移学习设置中大量可用的数据,我们提供了该方法的泛化误差上限,并在一个合成和两个真实数据集上进行了数值实验。实验表明相对于单任务学习和以正交和密集表示任务的先前方法以及相关方法来说我们的方法具有优势。
Sep, 2012
本文研究使用参数转移方法进行转移学习问题,介绍了基于参数特征映射的局部稳定性和参数转移可学习性,并推导了参数转移算法的学习界限。作为参数转移学习的应用,讨论了自学习中稀疏编码的性能,并提供了自学习的第一个理论学习界限。
Oct, 2016
本文介绍了一种技术,通过加入实际的随机噪声到参数实例化中,从现有样本生成新的训练样本数据,以实现针对缺少大量标记数据的本地语言的字符识别,同时可用于物体识别等相关上下文。
Apr, 2019
本文研究了在后验漂移模型下,基于不同分布的观测数据的非参数分类问题中的迁移学习,首先构建了一个速率最优的两样本加权 K-NN 分类器并证明了收敛速率下限,接着提出了一种数据驱动的自适应分类器,证明了其能够同时在大量参数空间上实现接近最优速率,并给出了仿真研究和实际数据应用。同时,本文还考虑了多个源分布的情况。
Jun, 2019
本文提出了一种新的方法,通过信息论方法来估计监督分类任务的难度和可转移性,无需模型和训练,而是通过探索训练标签统计数据作为随机变量,考虑从源任务到目标任务的两个标签分配之间的条件熵,表明此值与传输模型的损失有关,并测试其在三个大型数据集上的有效性。
Aug, 2019
本文提出了一种新颖的元学习框架,该框架可以在推理过程中通过支持集合利用额外的新作者数据并通过单个梯度步更新输出作者自适应模型,这个模型可以在最先进的HTR模型之上轻松实现,并且可以在极少的新风格数据下实现平均5-7%的性能提升。
Apr, 2021
本文提出HASTE(HArd Subset TransfErability)方法,通过使用较难的目标数据子集来估计源模型转移到特定目标任务的可转移性,结合内部和输出表示方法提出两种技术来识别较困难的子集,从而可与任何现有可迁移度度量一起使用以提高其可靠性,实验结果表明,HASTE修改的指标与现有的可迁移度指标一致或更佳。
Jan, 2023
手写识别中,深度学习取得了显著成就。然而,神经网络在处理数据分布转变时存在问题。本文讨论如何使手写识别模型能够自适应不同风格的书写,通过使用少量新人笔迹的例子进行适应。通过两种基本模型以及模型无关元学习和作家代码两种方法,实验结果表明MetaHTR在适应性上优于基准模型,提高了1.4到2.0的词错误率,并且深层模型适应性好于浅层模型。然而,MetaHTR在更大模型或句子级别的手写识别中的计算和内存需求可能变得不切实际,而基于学习特征或Hinge统计特征的作家代码并未提高识别性能。
Jul, 2023