本文提出了一种用于任务和模型无关的损失函数学习的新型元学习框架，通过混合搜索方法，首先使用遗传编程找到一组符号损失函数，然后对学习到的损失函数进行参数化和优化，实验证明该框架具有多样性与性能，在各种任务和特定神经网络结构上提供了改进的收敛性、样本效率和推理性能。

Mar, 2024

提出了一种新的在线学习损失函数的方法，通过每次更新底层模型参数进行自适应更新，相比于交叉熵损失函数以及离线学习损失函数技术，在各种神经网络体系结构和数据集上稳定表现更好。

Jan, 2023

本文提出了一种元学习方法，用于学习参数化损失函数，该方法可以概括不同任务和模型架构之间的关系，从而使训练过程更快速、更强健。我们的元学习框架可以灵活地在元训练时加入额外信息，从而塑造损失函数，避免在元测试时需要提供该信息。

Jun, 2019

探索利用元学习概念来改善性能，尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分，它代表了主要的学习目标，在系统成功优化该目标的能力上进行了量化。

Jun, 2024

神经网络通过最小化损失函数来学习，定义了预测模型输出与目标值之间的差异。选择损失函数对于实现特定任务行为至关重要，并且极大地影响模型的能力。我们利用遗传编程方法对众所周知的损失函数进行了实验性挑战，包括交叉熵损失，提出了 5 个最佳函数，并在各种模型架构的标准数据集上进行了评估，结果发现 Next Generation Loss（NGL）函数在所有测试数据集上表现出相同或更好的性能，包括 Imagetnet-1k 数据集。最后，我们将 NGL 函数用于 Pascal VOC 2012 和 COCO-Stuff164k 数据集的分割后任务训练，提高了底层模型的性能。

Apr, 2024

本文提出了一种新的元优化器，该优化器能够在基于点和基于种群的优化算法算法空间中进行学习，提高了预测的准确性和优化能力，并在非凸测试函数和蛋白质对接应用中的实验结果表明，该元优化器优于现有竞争对手。

Nov, 2019

使用神经损失函数搜索（NLFS）方法，我们在卷积神经网络中发现了三个新的损失函数（NeuroLoss1、NeuroLoss2 和 NeuroLoss3），它们能够以更高的平均测试准确率取代交叉熵作为简单的损失函数，从而实现更好的泛化效果。

Jan, 2024

本文提出了一种基于 RNN 的优化器 RNN-Opt，并使用合成非凸函数直接使用折扣遗憾作为元学习损失函数来训练，该方法可有效地优化具有限制预算的单目标连续函数。

Jul, 2019

本文提出了一种自动适应的损失函数搜索框架（AutoLoss），其中包括一个控制器网络可以动态调整不同数据样例的损失概率，以提高模型的泛化性和易转移性。实验证明，AutoLoss 比代表性基线表现更好。

Jun, 2021

模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

Oct, 2021