ICMLJul, 2021

非可分解目标的隐式率受限优化

PDF
TL;DR本研究考虑一种常见的受约束优化问题，即在固定阈值形式的不可分解评估指标和约束其他感兴趣的指标的情况下，对机器学习问题进行优化。通过隐函数定理，我们提出了一种表达阈值参数为模型参数函数的速率约束优化方法，并展示了如何使用标准梯度方法来解决所得到的优化问题。在基准数据集上的实验证明了我们提出的方法相对于现有的最先进方法在这些问题上的有效性。
constrained optimizationmachine learningevaluation metricfalse negative rateprecision
发现论文，激发创造
  • 具有不可微约束条件的优化及其在公平性、召回率、流失率和其他目标上的应用

    本文提出了一种代理 - 拉格朗日新公式，以及用于解决非凸或不可区分约束下的非凸模型训练问题的随机分类器算法，并在精度、覆盖率、准确性、回调和客户流失率等多个方面的实验结果证明了其效果。

    Sep, 2018

  • MetricOpt: 学习优化黑盒评估指标

    本文介绍了一种名为 MetricOpt 的方法，它通过学习可微的价值函数，实现直接优化任意不可导的任务评估指标，并在图像分类、图像检索和目标检测等多个领域取得了最先进的性能表现。

    Apr, 2021

  • 通过分位数实现的受限分类和排名

    本文提出了一种基于约束学习的新框架， 可以通过在训练数据的子集上预测正 / 负例率来解决二分类器中的类不平衡问题，并避免了复杂的约束优化问题。该方法与模型无关且仅支出少量计算代价。在各种基准测试上的实验显示了与现有基准相比具有具有竞争性的性能。

    Feb, 2018

  • 可扩展的学习非可分解目标

    本研究提出了一种统一的框架，使用简单的构建块限制，允许对各种基于排名的目标进行高度可扩展的优化，并在多个实际检索问题上展示了我们方法的优势，同时在性能和精度方面显著改进了基线。

    Aug, 2016

  • 使用不可分解目标训练超参数模型

    本文提出一种新的代价敏感损失函数，以解决标签代价权重重新加权训练在过度参数化模型中可能导致的问题，并进行了 ResNet 模型的实验验证。

    Jul, 2021

  • 优化不可分解性能度量：两个类别的故事

    本文提出一种自适应线性化技术，实现了基于 TPR 和 TNR 的点随机更新，通过提出 SPADE 和 STAMP 方法，可以应对实际中出现的数据标签不平衡及其他特殊要求，并获得了显着的速度优势和精准度，同时确保了收敛性。

    May, 2015

  • 利用数据集限制实现实际目标

    本篇论文提出通过使用数据集约束、使用斜面惩罚精确量化成本，并提出一种有效的算法来约束多个数据集上的多个目标，以处理训练集错误最小化目标外的其他真实目标。实验结果表明我们的方法的有效性。

    Jun, 2016

  • 平滑优化的鲁棒指标学习

    本文提出了一种称为鲁棒测度学习的方法，旨在从嘈杂的侧面信息中学习距离度量，将学习任务最初制定为组合优化问题，并将其优雅地转换为凸规划问题，提出了一种基于平滑优化的高效学习算法，最后在 UCI 数据集上的实验研究证明了所提出方法的有效性。

    Mar, 2012

  • 追逐长期约束的凸函数

    我们研究了一类带有长期约束的在线度量问题，该问题涉及在线玩家在度量空间中进行决策以同时最小化击中成本和度量确定的切换成本。我们设计了特定实例的最优竞争性和学习增强算法，并进一步在数值实验中证明了我们提出的算法的良好性能。

    Feb, 2024

  • 度量约束优化的并行投影方法

    本文介绍了一种并行投影方法，用于解决度量约束优化问题，可以提高收敛速度并实现更大规模的应用。

    Jan, 2019