基于学得损失的元学习

Jun, 2019

Meta-Learning via Learned Loss

Sarah Bechtle, Artem Molchanov, Yevgen Chebotar, Edward Grefenstette, Ludovic Righetti...

TL;DR本文提出了一种元学习方法，用于学习参数化损失函数，该方法可以概括不同任务和模型架构之间的关系，从而使训练过程更快速、更强健。我们的元学习框架可以灵活地在元训练时加入额外信息，从而塑造损失函数，避免在元测试时需要提供该信息。

Abstract

Typically, loss functions, regularization mechanisms and other important aspects of training parametric models are chosen heuristically from a limited set of options. In this paper, we take the first step towards

meta-learning parametric models loss functions generalization robustness

发现论文，激发创造

深度神经网络的元学习损失函数

探索利用元学习概念来改善性能，尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分，它代表了主要的学习目标，在系统成功优化该目标的能力上进行了量化。

Jun, 2024

在线损失函数学习

提出了一种新的在线学习损失函数的方法，通过每次更新底层模型参数进行自适应更新，相比于交叉熵损失函数以及离线学习损失函数技术，在各种神经网络体系结构和数据集上稳定表现更好。

Jan, 2023

使用任务自适应损失函数的元学习用于小样本学习

模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

Oct, 2021

基于遗传编程的损失函数学习的快速高效局部搜索

本文提出了一种用于任务和模型无关的损失函数学习的新型元学习框架，通过混合搜索方法，首先使用遗传编程找到一组符号损失函数，然后对学习到的损失函数进行参数化和优化，实验证明该框架具有多样性与性能，在各种任务和特定神经网络结构上提供了改进的收敛性、样本效率和推理性能。

Mar, 2024

利用镜面下降实现快速适应的多功能损失几何元学习

利用从相关任务中提取的任务不变的先验知识，元学习是一种原则性的框架，能够在数据记录有限时有效地学习新任务。使用预条件器来处理权重更新的收敛问题是元学习中的一个基本挑战。现有方法通过增强每个任务的训练过程来处理这个挑战。然而，简单的线性预条件器很难捕捉复杂的损失几何结构。本文通过学习非线性的镜像映射来解决这个限制，从而引出一种通用的距离度量，能够捕捉和优化各种损失几何结构，从而促进每个任务的训练。在少样本学习数据集上的数值测试验证了这种方法的优越性和收敛性。

Dec, 2023

通过损失函数优化提高训练速度、精度和数据利用率

使用遗传编程算法，通过优化损失函数进行元学习可自动优化神经网络的设计，进而提高网络性能，从而推进 AutoML 技术。

May, 2019

自适应损失对齐解决损失度量不匹配问题

通过元学习自适应损失函数直接优化了评估指标，提出了一种样本高效的强化学习方法来动态调整损失，证明了这种方法在度量学习和分类场景下优于现有技术，并具有良好的通用性。

May, 2019

增强元学习范式的简单而有效策略

元学习是一种有前途的范式，可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程，并用预期尾风险的度量来元训练模型，提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。

Oct, 2023

元学习需要元增强

本文提出了 Meta-Learning 中的过拟合问题，并使用信息理论框架讨论基于元学习数据增强的方法来解决这个问题。实验证明，该方法对最近提出的元规则技术有很大的补充作用。

Jul, 2020

学习如何学习和预测：一种用于多标签分类的元学习方法

本文提出了一种利用元学习方法和训练策略捕捉标签依赖关系的元学习方法，其训练策略用于交叉熵损失函数训练分类器，预测策略则用于预测。实验结果表明该方法可以更准确地进行多标签分类。

Sep, 2019