AnyLoss：将分类指标转化为损失函数

May, 2024

AnyLoss：将分类指标转化为损失函数

AnyLoss: Transforming Classification Metrics into Loss Functions

Doheon Han, Nuno Moniz, Nitesh V Chawla

TL;DR我们提出了一种通用的方法，将任何基于混淆矩阵的度量转化为可用于优化过程的损失函数，并通过对其导数的建议证明了其可微分性，我们在多个数据集上进行了广泛的实验证明了该方法在处理不平衡数据集方面的杰出成就，并且与多个基准模型相比的竞争学习速度凸显了其效率。

Abstract

Many evaluation metrics can be used to assess the performance of models in binary classification tasks. However, most of them are derived from a confusion matrix in a non-differentiable form, making it very diffi

evaluation metrics binary classification tasks confusion matrix differentiable loss function imbalanced learning

发现论文，激发创造

优化复杂绩效指标的通用在线算法

我们介绍和分析了一种通用的在线算法，适用于二元、多类和多标签分类问题中的各种复杂性能指标，该算法的更新和预测规则简单且计算效率高，无需存储任何过去的数据，而且对于凹函数和平滑度函数达到了 O (ln n/n) 的遗憾，并通过实证研究验证了所提算法的效率。

Jun, 2024

迭代样本加权优化黑盒指标

应用自适应例子权重学习方法来优化一个由混淆矩阵黑盒函数定义的分类度量函数，实验结果表明该方法在各种应用场景下表现优异。

Feb, 2021

学习代理损失

本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。

May, 2019

自适应损失对齐解决损失度量不匹配问题

通过元学习自适应损失函数直接优化了评估指标，提出了一种样本高效的强化学习方法来动态调整损失，证明了这种方法在度量学习和分类场景下优于现有技术，并具有良好的通用性。

May, 2019

通过自适应损失平衡在神经网络中进行任意时刻的预测学习

通过从辅助预测中提取 “Anytime” 预测，优化自适应加权和的辅助损失，以平衡损失以相同的比例进行优化的神经网络。实验证明，采用自适应加权的任意神经网络（ANNs）可在较小的网络上比使用静态常数权重的大型网络更快地实现相同的准确性。

Aug, 2017

度量优化的例子权重

提出使用带权损失函数和标准损失函数来处理复杂测试度量和数据分布不一致问题，并且权重可以学习适应任何测试指标，公式支持的各个实际场景和标准数据集的实验结果表明该方法的性能得到重大改善并且还提供了一种方法的一般化范围。

May, 2018

从对数损失分数中推断标签

本文探讨了如何从单个（或多个）log-loss 得分中推断数据集的标签，我们通过引入数论和组合数学的思想提出了对抗性侦查方法进行实验模拟，可成功推断数据集的标签。

May, 2021

AutoLoss-Zero：从零开始搜索通用任务的损失函数

本文提出 AutoLoss-Zero，旨在从头开始搜索通用任务的损失函数。该算法使用基本的数学运算符组成一个初步的搜索空间，并使用变异算法在该搜索空间中发现损失函数。利用该算法，我们在计算机视觉任务上获得了比现有损失函数更好的结果。

Mar, 2021

类别不平衡节点分类的自动损失函数搜索

我们引入了一个高性能、灵活且通用的自动损失函数搜索框架来解决节点分类中的不平衡问题。在 15 种图神经网络和数据集组合中，我们的框架相比最先进方法在性能上有显著改进；此外，我们观察到图结构数据中的同质性对所提框架的可迁移性有着显著贡献。

May, 2024

关系代理损失学习

本文旨在解决机器学习中的评估指标通常难以作为损失函数的问题，通过重新审视代理损失学习，并提出了一种基于排名相关性优化的方法来最大化代理损失和度量之间的关系进行代理损失学习。实验证明，该方法在图像分类、神经机器翻译等各种任务上都获得了显着的效率和性能提升，并在人体姿态估计和机器阅读理解任务上优于现有方法。

Feb, 2022