Oct, 2020

Auto Seg-Loss: 为语义分割寻找度量代理

PDF
TL;DR本文主要介绍了在深度网络训练中设计适当的损失函数的重要性，特别是在语义分割领域，介绍了自动设计指标特定损失函数的方法，并介绍了代替度量中不可微分操作的可参数化函数以及在参数搜索中使用的两个约束。实验表明，所搜索的替代损失函数在其他数据集和网络上也具有良好的泛化能力，与手动设计的损失函数相比性能更好。
loss functionssemantic segmentationdeep networksautomated designsurrogate losses
发现论文，激发创造
  • AutoLoss-Zero：从零开始搜索通用任务的损失函数

    本文提出 AutoLoss-Zero，旨在从头开始搜索通用任务的损失函数。该算法使用基本的数学运算符组成一个初步的搜索空间，并使用变异算法在该搜索空间中发现损失函数。利用该算法，我们在计算机视觉任务上获得了比现有损失函数更好的结果。

    Mar, 2021

  • 关系代理损失学习

    本文旨在解决机器学习中的评估指标通常难以作为损失函数的问题，通过重新审视代理损失学习，并提出了一种基于排名相关性优化的方法来最大化代理损失和度量之间的关系进行代理损失学习。实验证明，该方法在图像分类、神经机器翻译等各种任务上都获得了显着的效率和性能提升，并在人体姿态估计和机器阅读理解任务上优于现有方法。

    Feb, 2022

  • 学习代理损失

    本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。

    May, 2019

  • AutoLoss: 推荐系统中的自动化损失函数搜索

    本文提出了一种自动适应的损失函数搜索框架（AutoLoss），其中包括一个控制器网络可以动态调整不同数据样例的损失概率，以提高模型的泛化性和易转移性。实验证明，AutoLoss 比代表性基线表现更好。

    Jun, 2021

  • 语义分割时代的损失函数：调查与展望

    本综述系统地评估了用于图像分割的 25 种损失函数，并提出了分类法和评估方法，以帮助研究人员找到适用于其应用的最佳损失函数。对医疗和自然图像数据集进行了中立评估，并指出了当前挑战和未来研究机会。

    Dec, 2023

  • 类别不平衡节点分类的自动损失函数搜索

    我们引入了一个高性能、灵活且通用的自动损失函数搜索框架来解决节点分类中的不平衡问题。在 15 种图神经网络和数据集组合中，我们的框架相比最先进方法在性能上有显著改进；此外，我们观察到图结构数据中的同质性对所提框架的可迁移性有着显著贡献。

    May, 2024

  • 自适应损失对齐解决损失度量不匹配问题

    通过元学习自适应损失函数直接优化了评估指标，提出了一种样本高效的强化学习方法来动态调整损失，证明了这种方法在度量学习和分类场景下优于现有技术，并具有良好的通用性。

    May, 2019

  • 利用收敛模拟驱动的搜索进行目标检测的损失函数发现

    本文介绍了 CSE-Autoloss 模型，通过使用一种有效的收敛模拟驱动进化搜索算法加速搜索进程，从原始操作级别开始为具有挑战性的目标检测发现新的损失函数公式。我们的模型发现的最佳搜索损失功能组合在 COCO 上的双阶段检测器和单阶段检测器中的 mAP 方面比默认组合表现出 1.1％和 0.8％的提高。

    Feb, 2021

  • 语义分割损失函数综述

    本文介绍了广泛用于图像分割的知名损失函数，并列出了能够帮助模型快速优化的情况。同时，我们还介绍了一种新的 Log-cosh Dice 损失函数，并与广泛使用的损失函数在 NBFS 颅骨分割开源数据集上进行了比较。我们还展示了某些损失函数在所有数据集上表现良好，并可作为未知数据分布情况下的良好基准选择。欲了解更多信息，请访问 Github 链接。

    Jun, 2020

  • 序列预测任务损失估计

    本文提出了一种新的方法来推导可微的替代损失函数，以用于训练包含每个输入 - 输出对的得分的模型，并在语音识别任务中证明了其有效性。

    Nov, 2015