提出了一种名为AM-LFS的自动机器学习方法，利用REINFORCE动态优化损失函数和参数，从而在计算机视觉任务中表现优异。

May, 2019

本文提供了一种新的解释cross-entropy loss的方法，并基于此推导出一种新的loss函数类，该类函数可以应用于任何有监督的学习任务中，提高收敛速度。

Jul, 2019

本文探讨了在图像分类任务中使用多种损失函数和正则化器去提高测试精度，但是并不清楚这些损失函数是否可以学习出更好的下游任务表示。作者研究了训练目标的选择如何影响在ImageNet上训练的卷积神经网络的隐藏表示的可转移性，结果表明选择不同的损失函数会导致不同的结果，进一步指出了在为原始任务学习不变特征和为转移任务学习相关特征之间存在一种折衷。

Oct, 2020

本文介绍了CSE-Autoloss模型，通过使用一种有效的收敛模拟驱动进化搜索算法加速搜索进程，从原始操作级别开始为具有挑战性的目标检测发现新的损失函数公式。我们的模型发现的最佳搜索损失功能组合在 COCO 上的双阶段检测器和单阶段检测器中的mAP方面比默认组合表现出1.1％和0.8％的提高。

Feb, 2021

本文提出了一种名为AugSub的新型正则化使用方法，该方法包括两个模型：主模型和子模型。 AugSub通过缓解自蒸馏Loss类似的松弛损失函数对抗效应来实现额外正则化的好处；本文进一步验证AugMask在不同的培训配方中的有效性，并通过进行MAE微调和Swin Transformer等验证了AugMask的稳健性。

Jun, 2023

使用进化搜索方法改进了通过渐进方法进行量化尺度优化的神经网络的性能，特别在极端量化情况下表现出鲁棒性。

Aug, 2023

本综述系统地评估了用于图像分割的25种损失函数，并提出了分类法和评估方法，以帮助研究人员找到适用于其应用的最佳损失函数。对医疗和自然图像数据集进行了中立评估，并指出了当前挑战和未来研究机会。

Dec, 2023

使用神经损失函数搜索（NLFS）方法，我们在卷积神经网络中发现了三个新的损失函数（NeuroLoss1、NeuroLoss2和NeuroLoss3），它们能够以更高的平均测试准确率取代交叉熵作为简单的损失函数，从而实现更好的泛化效果。

Jan, 2024

神经网络通过最小化损失函数来学习，定义了预测模型输出与目标值之间的差异。选择损失函数对于实现特定任务行为至关重要，并且极大地影响模型的能力。我们利用遗传编程方法对众所周知的损失函数进行了实验性挑战，包括交叉熵损失，提出了5个最佳函数，并在各种模型架构的标准数据集上进行了评估，结果发现Next Generation Loss（NGL）函数在所有测试数据集上表现出相同或更好的性能，包括Imagetnet-1k数据集。最后，我们将NGL函数用于Pascal VOC 2012和COCO-Stuff164k数据集的分割后任务训练，提高了底层模型的性能。

Apr, 2024

本研究解决了现有数据增强方法中普遍存在的随机增强幅度引入噪声和过拟合风险的问题。提出的EntAugment框架能够动态调整每个样本的增强幅度，通过信息熵评估样本复杂性，从而提高图像分类的准确性和模型的泛化能力。实验证明，该框架在多个任务中表现优越，无需额外模型或计算成本，有效且高效。

Sep, 2024