具有不可微约束条件的优化及其在公平性、召回率、流失率和其他目标上的应用

Sep, 2018

具有不可微约束条件的优化及其在公平性、召回率、流失率和其他目标上的应用

Optimization with Non-Differentiable Constraints with Applications to Fairness, Recall, Churn, and Other Goals

Andrew Cotter, Heinrich Jiang, Serena Wang, Taman Narayan, Maya Gupta...

TL;DR本文提出了一种代理 - 拉格朗日新公式，以及用于解决非凸或不可区分约束下的非凸模型训练问题的随机分类器算法，并在精度、覆盖率、准确性、回调和客户流失率等多个方面的实验结果证明了其效果。

Abstract

We show that many machine learning goals, such as improved fairness metrics, can be expressed as constraints on the model's predictions, which we call rate constraints. We study the problem of training

machine learning fairness metrics non-convex models lagrange multipliers constrained optimization

发现论文，激发创造

高效非凸约束优化的双人博弈

提出了一种称为 “代理拉格朗日” 的优化方案，用于在非凸约束条件下的分类问题，可应对非可微的约束条件，并能将分类器大小控制在不超过约束个数的 m+1 个内。

Apr, 2018

约束学习问题的近似最优解

通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

Mar, 2024

非可分解目标的隐式率受限优化

本研究考虑一种常见的受约束优化问题，即在固定阈值形式的不可分解评估指标和约束其他感兴趣的指标的情况下，对机器学习问题进行优化。通过隐函数定理，我们提出了一种表达阈值参数为模型参数函数的速率约束优化方法，并展示了如何使用标准梯度方法来解决所得到的优化问题。在基准数据集上的实验证明了我们提出的方法相对于现有的最先进方法在这些问题上的有效性。

Jul, 2021

针对公平性度量和其他数据相关限制训练良好泛化的分类器

本研究探讨了如何通过两个数据集的两人博弈法优化模型参数，进而在满足约束条件的同时提高评估时的一般化性能，以达到公平性和减少误诊率等政策目标。实验结果表明，该方法不仅在理论上可行，而且在实际使用中也十分有效

Jun, 2018

具有大约束的凸和非凸优化的随机惩罚模型

该论文探讨了大约束情形下的机器学习系统，提出了一种随机惩罚形式来解决问题，并讨论了其与原问题之间的关系和各种数学保证。

Oct, 2018

带有非凸损失函数的约束学习

本文提出利用经验对偶域学习解决受约束的统计学习问题，并使用一种实用的受约束学习算法，在社会、工业和医学领域中实现对学习的显式约束。我们在公平性和对抗鲁棒性方面的速率受限学习应用中说明了这一理论和算法。

Mar, 2021

利用数据集限制实现实际目标

本篇论文提出通过使用数据集约束、使用斜面惩罚精确量化成本，并提出一种有效的算法来约束多个数据集上的多个目标，以处理训练集错误最小化目标外的其他真实目标。实验结果表明我们的方法的有效性。

Jun, 2016

机器学习的非凸优化

本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

Dec, 2017

通过神经网络实现公平性的 FNNC

提出了一种基于神经网络的框架，使用拉格朗日乘数将公平性约束条件引入到损失函数中，以实现分类中的公平性，同时保持高精度。

Nov, 2018

弹性受限学习

本文提出了一种弹性约束学习方法，通过权衡性能增益和放宽约束的成本来自适应调整要求，解决了在机器学习任务中面对多个要求的问题，例如公平性、鲁棒性、安全性等；同时，作者在图像分类与异构联邦学习任务上展示了该方法的优势。

Jun, 2023