带有非凸损失函数的约束学习

Mar, 2021

Constrained Learning with Non-Convex Losses

Luiz F. O. Chamon, Santiago Paternain, Miguel Calvo-Fullana, Alejandro Ribeiro

TL;DR本文提出利用经验对偶域学习解决受约束的统计学习问题，并使用一种实用的受约束学习算法，在社会、工业和医学领域中实现对学习的显式约束。我们在公平性和对抗鲁棒性方面的速率受限学习应用中说明了这一理论和算法。

Abstract

Though learning has become a core component of modern information processing, there is now ample evidence that it can lead to biased, unsafe, and prejudiced systems. The need to impose requirements on learning is therefore paramount, especially as it reaches critical applications in social, industrial, and medical domains. However, the non-convexity of most

constrained learning statistical problems deterministic learning empirical dual domain rate-constrained learning

发现论文，激发创造

约束学习问题的近似最优解

通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

Mar, 2024

约束统计学习的实证对偶间隙

本文提出了直接解决约束统计问题的方法，通过有限维参数化，样本平均和对偶理论，克服了其无限维度，未知分布和约束的限制。此方法可以在公平学习应用中体现出其有效性和有用性。

Feb, 2020

非凸风险约束学习中的强对偶关系

我们建立了对于功能性的两步组合风险受限学习问题的强对偶关系，涵盖多个非凸损失函数和 / 或学习约束的情况，不受非凸性和最小技术假设的限制。我们的结果特别意味着在所研究的问题类中存在零对偶间隙，扩展和改进了（风险中性）受限学习的最新进展。

Dec, 2023

弹性受限学习

本文提出了一种弹性约束学习方法，通过权衡性能增益和放宽约束的成本来自适应调整要求，解决了在机器学习任务中面对多个要求的问题，例如公平性、鲁棒性、安全性等；同时，作者在图像分类与异构联邦学习任务上展示了该方法的优势。

Jun, 2023

约束下的可能近似正确学习

本文提出一种基于 PAC 学习框架的约束学习方法，该方法通过对经验风险最小化规则进行约束来解决分类问题中的偏差、不公平和不稳定性等问题，研究表明该方法能够实现约束学习的泛化。

Jun, 2020

无穷维模型中约束函数参数的统计学习及其在公平机器学习中的应用

通过统计函数镜头研究约束统计机器学习的一般问题，特别是在算法公正和机器学习领域变得越来越重要，我们考虑在特定实值函数参数等于零或受限的约束下学习一个感兴趣的函数值参数。结果表明，可获得约束参数的封闭解，从而揭示了公正预测模型的驱动机制。同时，我们提出了构建公正的机器学习算法的估计过程，该过程可以与任何统计学习方法和现成软件结合使用。

Apr, 2024

机器学习的非凸优化

本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

Dec, 2017

具有不可微约束条件的优化及其在公平性、召回率、流失率和其他目标上的应用

本文提出了一种代理 - 拉格朗日新公式，以及用于解决非凸或不可区分约束下的非凸模型训练问题的随机分类器算法，并在精度、覆盖率、准确性、回调和客户流失率等多个方面的实验结果证明了其效果。

Sep, 2018

具有理论保证的机器学习非凸优化：鲁棒矩阵补全和神经网络学习

本文讲述了解释性学习系统是机器学习的一个新趋势，但由于现实数据是由非线性模型生成的，在研究非凸优化问题时，提供可解释性算法是具有挑战性的，本文研究了两个非凸问题：低秩矩阵补全和神经网络学习。

Jun, 2023

基于模型的领域通用化

本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

Feb, 2021