Jan, 2024

大规模图像分类卷积神经网络的神经损失函数演化

PDF
TL;DR使用神经损失函数搜索（NLFS）方法，我们在卷积神经网络中发现了三个新的损失函数（NeuroLoss1、NeuroLoss2 和 NeuroLoss3），它们能够以更高的平均测试准确率取代交叉熵作为简单的损失函数，从而实现更好的泛化效果。
neural loss function searchcross-entropyconvolutional neural networksloss functionsgeneralization
发现论文，激发创造
  • 针对特定图像增强技术演化的损失函数

    通过进行演化搜索找到了一种名为逆贝塞尔对数损失的单一损失函数，它在多数实验中表现优于交叉熵。

    Apr, 2024

  • 图像分类的下一代损失函数

    神经网络通过最小化损失函数来学习，定义了预测模型输出与目标值之间的差异。选择损失函数对于实现特定任务行为至关重要，并且极大地影响模型的能力。我们利用遗传编程方法对众所周知的损失函数进行了实验性挑战，包括交叉熵损失，提出了 5 个最佳函数，并在各种模型架构的标准数据集上进行了评估，结果发现 Next Generation Loss（NGL）函数在所有测试数据集上表现出相同或更好的性能，包括 Imagetnet-1k 数据集。最后，我们将 NGL 函数用于 Pascal VOC 2012 和 COCO-Stuff164k 数据集的分割后任务训练，提高了底层模型的性能。

    Apr, 2024

  • 神经网络图像处理损失函数

    本文针对图像处理的默认选择 L2 损失函数提出了替代选择。通过比较几种损失函数的性能并提出一种新的可微错误函数，本研究显示出更好的损失函数会显著地提高图像恢复的质量，即使神经网络的结构不变。

    Nov, 2015

  • 深度神经网络分类中的损失函数

    研究了不同损失函数选择对深度神经网络及其学习动态的影响，证明了 L1 和 L2 损失函数是深度网络分类目标的合理选择，并提出两种新的损失函数作为现有损失函数的可行替代品。

    Feb, 2017

  • 深度人脸识别损失函数的性能比较

    本文比较了用于人脸识别的不同损失函数（Cross-Entropy、Angular Softmax、Additive-Margin Softmax、ArcFace 和 Marginal Loss）在 ResNet 和 MobileNet 两种 CNN 架构下的表现，采用了 CASIA-Webface 和 MS-Celeb-1M 两个数据集进行训练，并在 LFW 人脸数据集上进行了测试。

    Jan, 2019

  • 类别不平衡节点分类的自动损失函数搜索

    我们引入了一个高性能、灵活且通用的自动损失函数搜索框架来解决节点分类中的不平衡问题。在 15 种图神经网络和数据集组合中，我们的框架相比最先进方法在性能上有显著改进；此外，我们观察到图结构数据中的同质性对所提框架的可迁移性有着显著贡献。

    May, 2024

  • 利用收敛模拟驱动的搜索进行目标检测的损失函数发现

    本文介绍了 CSE-Autoloss 模型，通过使用一种有效的收敛模拟驱动进化搜索算法加速搜索进程，从原始操作级别开始为具有挑战性的目标检测发现新的损失函数公式。我们的模型发现的最佳搜索损失功能组合在 COCO 上的双阶段检测器和单阶段检测器中的 mAP 方面比默认组合表现出 1.1％和 0.8％的提高。

    Feb, 2021

  • 通过损失函数优化提高训练速度、精度和数据利用率

    使用遗传编程算法，通过优化损失函数进行元学习可自动优化神经网络的设计，进而提高网络性能，从而推进 AutoML 技术。

    May, 2019

  • 在线损失函数学习

    提出了一种新的在线学习损失函数的方法，通过每次更新底层模型参数进行自适应更新，相比于交叉熵损失函数以及离线学习损失函数技术，在各种神经网络体系结构和数据集上稳定表现更好。

    Jan, 2023

  • 基于遗传编程的损失函数学习的快速高效局部搜索

    本文提出了一种用于任务和模型无关的损失函数学习的新型元学习框架，通过混合搜索方法，首先使用遗传编程找到一组符号损失函数，然后对学习到的损失函数进行参数化和优化，实验证明该框架具有多样性与性能，在各种任务和特定神经网络结构上提供了改进的收敛性、样本效率和推理性能。

    Mar, 2024