探索利用元学习概念来改善性能，尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分，它代表了主要的学习目标，在系统成功优化该目标的能力上进行了量化。
Jun, 2024
本文提出了一种元学习方法，用于学习参数化损失函数，该方法可以概括不同任务和模型架构之间的关系，从而使训练过程更快速、更强健。我们的元学习框架可以灵活地在元训练时加入额外信息，从而塑造损失函数，避免在元测试时需要提供该信息。
Jun, 2019
使用遗传编程算法，通过优化损失函数进行元学习可自动优化神经网络的设计，进而提高网络性能，从而推进 AutoML 技术。
May, 2019
本文提出了一种用于任务和模型无关的损失函数学习的新型元学习框架，通过混合搜索方法，首先使用遗传编程找到一组符号损失函数，然后对学习到的损失函数进行参数化和优化，实验证明该框架具有多样性与性能，在各种任务和特定神经网络结构上提供了改进的收敛性、样本效率和推理性能。
Mar, 2024
本文提出了一种自动适应的损失函数搜索框架（AutoLoss），其中包括一个控制器网络可以动态调整不同数据样例的损失概率，以提高模型的泛化性和易转移性。实验证明，AutoLoss 比代表性基线表现更好。
Jun, 2021
通过元学习自适应损失函数直接优化了评估指标，提出了一种样本高效的强化学习方法来动态调整损失，证明了这种方法在度量学习和分类场景下优于现有技术，并具有良好的通用性。
本文介绍了一种新的基于 Learning Loss 框架的改进学习算法 LearningLoss++，通过对梯度的精确分析和对多尺度特征的结合实现了对数据的更好利用，提升了在人体姿势估计任务中的性能表现。
Apr, 2021
模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。
Oct, 2021
本文探讨了通过动态、自动输出适当损失函数来训练机器学习模型的可能性，并提出了一种高效学习教师模型的方法（称为 “学习动态损失函数的教学”），经过对图像分类和神经机器翻译等任务的广泛实验，证明了该方法显著提高了各种学生模型的质量。
Oct, 2018
本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。