Nov, 2023

离散贝叶斯网络的分布鲁棒骨架学习

PDF
TL;DR从有可能被破坏数据中学习普通离散贝叶斯网络的确切骨架的问题，我们建立在分布鲁棒优化和回归方法基础上，提出通过在有界 Wasserstein 距离或 KL 散度内的一族分布上最小化最不利风险来进行优化。该最坏情况风险考虑了异常值的影响。该方法适用于一般的分类随机变量，无需假设真实性、顺序关系或特定的条件分布形式。我们提出了高效的算法，并证明了所提出的方法与标准的正则化回归方法密切相关。在渐进保证下，对于有界度图，我们证明了具有对数样本复杂性的成功结构学习。通过对合成数据集和真实数据集的数值研究验证了我们方法的有效性。代码可在 https 的 URL 中获得。
bayesian networksdistributionally robust optimizationwasserstein distanceoutliersstructure learning
发现论文，激发创造
  • 固定结构贝叶斯网络的鲁棒学习

    研究了在部分样本被恶意破坏的情况下学习贝叶斯网络的问题，在这种情况下，提出了第一个计算有效、维度无关的鲁棒性学习算法，样本复杂度接近最优，能够实现线性比例的错误率，该算法在合成和半合成数据上表现良好。

    Jun, 2016

  • 分布鲁棒性逻辑回归

    本文提出了一种使用 Wasserstein 距离构建概率分布空间球体，并在此基础上最小化包含了经典和常见正则化逻辑回归的最坏情况期望对数损失函数的鲁棒分布逻辑回归模型，同时使用基于 Wasserstein 球的分布鲁棒方法计算分类器误分类概率的置信度上下边界。

    Sep, 2015

  • 鲁棒优化的统计学：一种广义经验似然方法

    本文研究了基于经验似然和分布鲁棒解的方法进行随机优化问题的统计推断，特别关注最优值的置信区间和渐近达到精确覆盖的解决方案。我们提出了一个基于非参数 $f$- 分歧球构建的分布不确定性集合的广义经验似然框架，用于 Hadamard 可微函数和随机优化问题，从而提供了一个有原则的选择分布不确定性区域大小的方法，以实现达到精确覆盖的单侧和双侧置信区间。我们还给出了我们分布鲁棒的公式的渐近展开，表明如何通过方差来规范化问题。最后，我们证明了，我们研究的分布鲁棒公式的优化器具有与经典样本平均逼近中的优化器基本相同的一致性属性。我们的一般方法适用于快速混合的平稳序列，包括几何上遗传的 Harris 递归马尔科夫链。

    Oct, 2016

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017

  • 分布鲁棒贝叶斯优化

    本文通过使用最大平均偏差（MMD）来度量分布转移，研究了分布鲁棒优化的问题，在零阶、有噪音的优化设置下，提出了一种新颖的分布鲁棒贝叶斯优化算法（DRBO）。实验证明我们的算法在多个设置下能够获得次线性的稳健后悔的实现。

    Feb, 2020

  • Wasserstein 分布鲁棒优化：机器学习中的理论和应用

    此论文介绍了基于 Wasserstein 分布鲁棒优化的数据驱动决策方法，能够解决样本有限、参数不确定的情况下，采用仅仅通过数据学习决策的问题，绕过测试样本不能涵盖所有情况的问题，具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。

    Aug, 2019

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 批量鲁棒学习的通用方法

    研究了在数据存在噪声和对抗性的情况下如何进行鲁棒学习，同时提出了有效的学习算法来解决分段区间分类和分布估计的问题。

    Feb, 2020

  • 学习已知骨干的有界度多叉树

    有限样本保证 + 边界度多树 + 高效算法 + 政权时间和样本复杂度 + 信息理论样本复杂度下界

    Oct, 2023

  • 分布的两阶段样本学习理论

    该研究提出了一种简单有效的方法，将概率分布嵌入再应用岭回归 算法来解决分布回归问题，同时证明该方法的稳定性和收敛速度，回答了 15 年来未解决的开放性问题，并涵盖了一系列相关的概率分布问题。

    Feb, 2014