EEML: 集成嵌入式元学习
本文提出了一种基于梯度的分层结构的元学习方法,该方法通过任务聚类结构以及自适应知识传递来解决元学习中任务不确定性和异质性问题,并在玩具回归和少样本图像分类问题中取得了最优表现。
May, 2019
本文介绍了一种利用集成学习方法构建元嵌入(meta-embeddings) 的方式,通过将不同的公开嵌入集合相结合,提高嵌入语义的质量。和单个嵌入集相比,元嵌入可以更好地完成词相似性,词类标注等任务,并且具有更广泛的词汇覆盖。
Aug, 2015
SEED 是一种新颖的方法,通过选择最优的专家,并利用来自任务的数据对该专家进行微调,从而增加专家的多样性和异质性,同时保持该集成方法的高稳定性,在继续学习中通过数据来扩展应用领域,从而在各种场景中实现了无示例集的最新性能。
Jan, 2024
该论文提出了一种信息论的元学习模型,通过优化划分学习任务,使得专业的决策者解决子问题,从而达到高效的适应新任务的效果,在图像分类、回归和强化学习三个元学习领域进行验证。
Oct, 2019
提出了一种名为 MMoEEx 的多门分层专家模型用于解决多任务学习(MTL)中的挑战,旨在优化单个模型以同时预测具有不同特征的多个任务,我们采用了一种方法来引入专家间的多样性,以创造更适合高度不平衡和异构 MTL 学习的表示,并采用两步优化方法在梯度水平上平衡任务。
Jun, 2021
本文提出了一种基于多模态任务分布的 adaptative meta-learning 算法,并采用该算法来识别各种从多模态分布中采样的任务,以更快速地实现适应。结果表明该算法对于计算机视觉、强化学习和回归等多种任务领域都具有普适性。
Dec, 2018
该研究提出了一种易 - 难专家元训练策略和任务难度感知模块,用于优化元学习方法,使其在少样本分类任务上表现更好。该策略优先进行易任务的训练,再进行难任务的强化。实验结果显示,该方法在 miniImageNet 和 tieredImageNetSketch 数据集上可以获得更好的结果。
Jul, 2020
我们提出了一种基于多任务迁移学习的新型参数高效微调框架 (PEMT),通过在源任务上训练适配器的加权组合来捕捉可转移的知识,同时利用任务描述提示向量来衡量目标任务与每个源任务之间的相关性,以充分利用任务特定的知识并提高稀疏性。实验证明,我们的方法在各种任务上相较于完全微调、PEFT 和知识转移方法都取得了稳定的改进,突出了其能够充分利用多任务之间的知识和相关特征的有效性。
Feb, 2024
在多任务学习中,使用共享和任务特定的嵌入(STEM)范式,通过 STEM-Net 模型有效捕捉任务特定的用户偏好,消除负迁移,超越单任务模型,提供卓越的性能和优势。
Aug, 2023
本研究提出了一种 meta-RL 方法,通过捕捉不同任务之间的共享信息和快速抽象任务特定信息的能力,使用任务编码器生成任务嵌入并在所有任务之间共享策略,实现在训练和新任务上的更好学习能力和更高回报率。
May, 2019