可转移元表示的对比学习
本文提出了一种基于 Meta-learning 的多任务线性回归算法,该算法能够通过低维线性表示快速学习多个相关任务,同时将这些知识传递到新的未见过的任务中,并提供了信息论下限,证明了该算法的高效性。
Feb, 2020
开发了一种功能编码器 - 解码器方法来进行监督式元学习,在其中标记的数据被编码为无限维的函数式表示而不是有限维的表示。此外,我们学习了一种神经更新规则,类似于函数梯度下降,它迭代地改进该表示。我们的方法首次证明了编码器 - 解码器式元学习方法(如有条件的神经过程)在大规模 few-shot 分类基准测试上的成功应用,例如 miniImageNet 和 tieredImageNet,在其中实现了最先进的性能。
Dec, 2019
探索利用元学习概念来改善性能,尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分,它代表了主要的学习目标,在系统成功优化该目标的能力上进行了量化。
Jun, 2024
在离线元强化学习的背景下,提出了一种对抗学习框架,用于学习对行为策略不敏感的任务表示,并通过对各种离线元强化学习基准测试的实验,展示了该方法相比之前的方法在行为策略的泛化能力方面的优越性。
Jun, 2022
本文通过研究在 12 个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面,系统地探讨了对比学习的不同方法学习到的表示的可迁移性,结果表明对比方法学习到的表示很容易适应不同的任务。除此之外,自监督对比损失与交叉熵 / 监督对比损失的联合目标可增强这些模型的可迁移性。
Mar, 2021
本文提出了一种结合对比度学习和元学习的元对比网络(MCN)方法,以增强现有自我学习方法的学习能力,并且在视频动作识别和视频检索等两个下游任务中,比当前最先进的方法在 UCF101 和 HMDB51 数据集上均有较好表现。
Aug, 2021
利用从相关任务中提取的任务不变的先验知识,元学习是一种原则性的框架,能够在数据记录有限时有效地学习新任务。使用预条件器来处理权重更新的收敛问题是元学习中的一个基本挑战。现有方法通过增强每个任务的训练过程来处理这个挑战。然而,简单的线性预条件器很难捕捉复杂的损失几何结构。本文通过学习非线性的镜像映射来解决这个限制,从而引出一种通用的距离度量,能够捕捉和优化各种损失几何结构,从而促进每个任务的训练。在少样本学习数据集上的数值测试验证了这种方法的优越性和收敛性。
Dec, 2023
该研究对两种不同方法进行了广泛调查研究,即迁移学习和元学习,以解决机器学习中有限数据的问题,并得出了在不同条件下两种方法的表现并评估了训练数据集大小对它们的影响。这项综合性探索为确定在任何情况下选择最适合的方法提供了见解。
Oct, 2023