KDDJun, 2021

AutoLoss: 推荐系统中的自动化损失函数搜索

PDF
TL;DR本文提出了一种自动适应的损失函数搜索框架（AutoLoss），其中包括一个控制器网络可以动态调整不同数据样例的损失概率，以提高模型的泛化性和易转移性。实验证明，AutoLoss 比代表性基线表现更好。
deep recommender systemsloss functionautoloss frameworkcontroller networktraining efficiency
发现论文，激发创造
  • 自动生成 loss 函数的推荐系统自动化生成算法：AutoLossGen

    本论文提出一种名为 AutoLossGen 的自动化损失函数生成框架，其使用强化学习控制器模型生成损失函数，结合迭代与交替优化进一步提升性能。实验结果表明，该自动化框架为不同的推荐模型和数据集创建了可定制的损失函数，并且比通常使用的基线损失表现更好，大多数生成的损失也是可传递的。

    Apr, 2022

  • 类别不平衡节点分类的自动损失函数搜索

    我们引入了一个高性能、灵活且通用的自动损失函数搜索框架来解决节点分类中的不平衡问题。在 15 种图神经网络和数据集组合中，我们的框架相比最先进方法在性能上有显著改进；此外，我们观察到图结构数据中的同质性对所提框架的可迁移性有着显著贡献。

    May, 2024

  • AutoLoss-Zero：从零开始搜索通用任务的损失函数

    本文提出 AutoLoss-Zero，旨在从头开始搜索通用任务的损失函数。该算法使用基本的数学运算符组成一个初步的搜索空间，并使用变异算法在该搜索空间中发现损失函数。利用该算法，我们在计算机视觉任务上获得了比现有损失函数更好的结果。

    Mar, 2021

  • AM-LFS: 损失函数自动机器学习搜索

    提出了一种名为 AM-LFS 的自动机器学习方法，利用 REINFORCE 动态优化损失函数和参数，从而在计算机视觉任务中表现优异。

    May, 2019

  • 在线损失函数学习

    提出了一种新的在线学习损失函数的方法，通过每次更新底层模型参数进行自适应更新，相比于交叉熵损失函数以及离线学习损失函数技术，在各种神经网络体系结构和数据集上稳定表现更好。

    Jan, 2023

  • Auto Seg-Loss: 为语义分割寻找度量代理

    本文主要介绍了在深度网络训练中设计适当的损失函数的重要性，特别是在语义分割领域，介绍了自动设计指标特定损失函数的方法，并介绍了代替度量中不可微分操作的可参数化函数以及在参数搜索中使用的两个约束。实验表明，所搜索的替代损失函数在其他数据集和网络上也具有良好的泛化能力，与手动设计的损失函数相比性能更好。

    Oct, 2020

  • 利用收敛模拟驱动的搜索进行目标检测的损失函数发现

    本文介绍了 CSE-Autoloss 模型，通过使用一种有效的收敛模拟驱动进化搜索算法加速搜索进程，从原始操作级别开始为具有挑战性的目标检测发现新的损失函数公式。我们的模型发现的最佳搜索损失功能组合在 COCO 上的双阶段检测器和单阶段检测器中的 mAP 方面比默认组合表现出 1.1％和 0.8％的提高。

    Feb, 2021

  • 人脸识别损失函数搜索

    本论文提出了一种用于人脸识别中的边际损失函数自动搜索的方法，由于手工设计的启发式方法需要耗费大量时间，并且 AutoML 的搜索空间过于复杂和不稳定， 因此定义了一个新的搜索空间和一个受奖励的搜索方法来自动获取最佳候选，实验结果表明该方法优于现有的最先进方法并提高了特征辨别能力。

    Jul, 2020

  • 神经网络自动化评分中动态损失函数的有效性

    该研究利用动态损失函数建立基于神经网络和注意机制的自动化作文评分模型，能够避免回归模型预测训练样本均值的欠拟合现象，并在测试集上取得 Quadratic Weighted Kappa 得分 0.752。

    May, 2023

  • 基于遗传编程的损失函数学习的快速高效局部搜索

    本文提出了一种用于任务和模型无关的损失函数学习的新型元学习框架，通过混合搜索方法，首先使用遗传编程找到一组符号损失函数，然后对学习到的损失函数进行参数化和优化，实验证明该框架具有多样性与性能，在各种任务和特定神经网络结构上提供了改进的收敛性、样本效率和推理性能。

    Mar, 2024