Dec, 2023

利用镜面下降实现快速适应的多功能损失几何元学习

PDF
TL;DR利用从相关任务中提取的任务不变的先验知识，元学习是一种原则性的框架，能够在数据记录有限时有效地学习新任务。使用预条件器来处理权重更新的收敛问题是元学习中的一个基本挑战。现有方法通过增强每个任务的训练过程来处理这个挑战。然而，简单的线性预条件器很难捕捉复杂的损失几何结构。本文通过学习非线性的镜像映射来解决这个限制，从而引出一种通用的距离度量，能够捕捉和优化各种损失几何结构，从而促进每个任务的训练。在少样本学习数据集上的数值测试验证了这种方法的优越性和收敛性。
meta-learningprior knowledgeadaptationpreconditionerloss geometries
发现论文，激发创造
  • 无需记忆的元学习

    通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

    Dec, 2019

  • 元先验：自适应逆问题求解的元学习

    基于深度神经网络和元学习的方法，实现在缺少标准数据的情况下，用少量样本进行特定任务的有效训练，并在图像处理和磁共振成像等多个领域展示了方法的有效性。

    Nov, 2023

  • 基于学得损失的元学习

    本文提出了一种元学习方法，用于学习参数化损失函数，该方法可以概括不同任务和模型架构之间的关系，从而使训练过程更快速、更强健。我们的元学习框架可以灵活地在元训练时加入额外信息，从而塑造损失函数，避免在元测试时需要提供该信息。

    Jun, 2019

  • 自适应基于梯度的元学习方法

    本文提出了一种理论框架来设计和理解实用的元学习方法，该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习，为统计学习 - to-learn 的转移风险提供更加精确的界限，并在任务环境动态变化或任务共享一定几何结构的情况下，导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法，并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。

    Jun, 2019

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 增强元学习范式的简单而有效策略

    元学习是一种有前途的范式，可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程，并用预期尾风险的度量来元训练模型，提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。

    Oct, 2023

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • 探索任务内部关系以改善元学习算法

    通过选择多样的任务进行小批量处理，我们研究利用任务关联的外部知识来改善训练稳定性，进而减少训练中的噪音。

    Dec, 2023

  • 使用任务自适应损失函数的元学习用于小样本学习

    模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

    Oct, 2021

  • 通过难度任务实现元转移学习

    本文提出了一种新颖的元转移学习（MTL）方法，通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移，同时引入了硬任务元批处理方案作为有效的学习课程，对三个具有挑战性的基准数据集进行了少样本学习实验，并报告了五类少样本识别任务的最高性能，验证了 MTL 方法的有效性。

    Oct, 2019