Mar, 2024

关于一些推前约束的非凸性及其在机器学习中的影响

PDF
TL;DR通过推限操作，可以通过确定性映射重新分配概率度量，从而在统计学和优化中发挥着关键作用。本文旨在填补相关领域（最优传输、生成模型和算法公平性等）中关于这些约束的凸性（非凸性）及其对相关学习问题的影响的缺乏理论洞察力的现状。
push-forward operationlearning problemspush-forward constraintsconvexityoptimization problems
发现论文，激发创造
  • 具有不可微约束条件的优化及其在公平性、召回率、流失率和其他目标上的应用

    本文提出了一种代理 - 拉格朗日新公式，以及用于解决非凸或不可区分约束下的非凸模型训练问题的随机分类器算法，并在精度、覆盖率、准确性、回调和客户流失率等多个方面的实验结果证明了其效果。

    Sep, 2018

  • 机器学习的非凸优化

    本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

    Dec, 2017

  • 带有非凸损失函数的约束学习

    本文提出利用经验对偶域学习解决受约束的统计学习问题，并使用一种实用的受约束学习算法，在社会、工业和医学领域中实现对学习的显式约束。我们在公平性和对抗鲁棒性方面的速率受限学习应用中说明了这一理论和算法。

    Mar, 2021

  • 具有大约束的凸和非凸优化的随机惩罚模型

    该论文探讨了大约束情形下的机器学习系统，提出了一种随机惩罚形式来解决问题，并讨论了其与原问题之间的关系和各种数学保证。

    Oct, 2018

  • 最优映射下的贝叶斯推断

    提出了一种新的贝叶斯推断方法，它完全避免了 Markov 链模拟，通过构建将先验度量向前推到后验度量的映射。通过在最优传输理论的上下文中阐述问题，建立了合适的保持度量的映射的存在性和唯一性。我们讨论了各种显式参数化映射的方法，并通过解决优化问题有效地计算映射，利用前向模型的梯度信息（如果可能）。该方法的优点包括产生后验的解析表达式和能够生成任意数量的独立后验样本而无需进行额外的似然评估或正向求解。该方法还通过自动评估边际似然，提供了后验逼近的明确收敛标准，并促进了模型选择。我们还演示了该方法在不同维度的非线性反问题上的准确性和效率。

    Sep, 2011

  • 无穷维模型中约束函数参数的统计学习及其在公平机器学习中的应用

    通过统计函数镜头研究约束统计机器学习的一般问题，特别是在算法公正和机器学习领域变得越来越重要，我们考虑在特定实值函数参数等于零或受限的约束下学习一个感兴趣的函数值参数。结果表明，可获得约束参数的封闭解，从而揭示了公正预测模型的驱动机制。同时，我们提出了构建公正的机器学习算法的估计过程，该过程可以与任何统计学习方法和现成软件结合使用。

    Apr, 2024

  • 约束学习问题的近似最优解

    通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

    Mar, 2024

  • 高效非凸约束优化的双人博弈

    提出了一种称为 “代理拉格朗日” 的优化方案，用于在非凸约束条件下的分类问题，可应对非可微的约束条件，并能将分类器大小控制在不超过约束个数的 m+1 个内。

    Apr, 2018

  • 使用最优传输理论分析过参数化模型上梯度下降的全局收敛性

    利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化，特别是在使用单个隐藏层的神经网络进行训练时，可通过 Wasserstein 梯度流达到全局最小值。

    May, 2018

  • 通过输入凸神经网络实现最优传输映射

    本文提出了一种新的、原则性的方法来从样本中学习两个分布之间的最优传输，学习方法基于最优传输理论并涉及解决一个新的极小极大优化问题，通过最优 Kantorovich 势量级诱导最优传输映射，借鉴最近在输入凸型神经网络领域的进展，提出了一个新的框架，其中一个凸函数的梯度表示最优传输映射。数值实验表明，我们学习到了最优传输映射，这一方法确保我们发现的传输映射独立于神经网络的初始化方式。而且，由于凸函数的梯度自然地模拟了不连续的传输映射，因此可以轻松捕捉具有不连续支持的目标分布。

    Aug, 2019