May, 2024

基于分层狄利克雷过程的分布鲁棒优化中的力量借助

PDF
TL;DR该论文介绍了一种新颖的优化框架，用于解决现代机器学习应用中的关键挑战：高维度、分布不确定性和数据异质性。该方法通过使用分层狄利克雷过程（HDP）先验，有效处理多源数据，实现正则化、分布鲁棒性，并在不同但相关的数据生成过程之间共享强度。通过建立基于狄利克雷过程（DP）理论的理论性能保证和可处理的蒙特卡洛近似，我们展示了该方法的优势。数值实验证实了该框架在改善和稳定预测和参数估计精度方面的功效，展示了它在复杂数据环境中的应用潜力。
optimization frameworkmachine learning applicationsdimensionalitydistributional uncertaintydata heterogeneity
发现论文，激发创造
  • 基于组合优化的大规模分布式鲁棒模型学习

    本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

    Mar, 2022

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017

  • 贝叶斯非参数统计遇见数据驱动的鲁棒优化

    通过将贝叶斯非参数理论和最近一些决策理论模型的平滑模糊厌恶偏好相结合，我们提出了一种新颖的鲁棒准则，并与标准的正则化经验风险最小化技术之间建立了新颖的联系，从而为优化过程提供了有利的有限样本和渐进统计保证。

    Jan, 2024

  • 有监督的层次狄利克雷过程

    该研究提出了一种用于回归问题的监督层次狄利克雷过程模型（sHDP），并与另一种流行的回归模型进行了比较和评估，结果表明该模型适用于实际分类与回归问题中的数据集，并能够通过数据结构和标签联合学习，构建一种可预测性的分类聚类。

    Dec, 2014

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 层次狄利克雷缩放过程

    本研究介绍了一种名为层次狄利克雷缩放过程（HDSP）的 Bayesian 非参数混合成员模型，可以泛化层次狄利克雷过程（HDP），以模拟语料库中元数据和混合成分之间的相关结构。通过实验，表明 HDSP 产生的预测性能比其他几个模型更好。

    Mar, 2014

  • DORO：分布式和异常值鲁棒优化

    提出了一种名为 DORO 的分布与离群点鲁棒优化框架，其中核心在于改进的风险函数，可以解决分布变化和离群点的问题，从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。

    Jun, 2021

  • 分布鲁棒优化：一篇综述

    本文概述了分布鲁棒优化（DRO）的主要概念和贡献，以及它与鲁棒优化、风险规避、机会约束优化和函数正则化的关系。

    Aug, 2019

  • 多分布学习的分布相关速率

    为了应对敏感机器学习应用中的不确定性建模需求，分布鲁棒优化（DRO）的设置在各种任务中寻求统一的良好性能。最近的多分布学习（MDL）框架以与环境的动态互动的方式解决了这一目标，在该框架中，学习者可以对每个目标分布进行采样访问。借鉴了纯探索多臂赌博机领域的观点，我们在 MDL 体制下提供了依赖于分布的保证，并且在与现有的分布无关分析相比，这种保证随着次优性差距的缩小而产生了优秀的样本大小依赖性。我们研究了两种非自适应策略：均匀探索和非均匀探索，并使用经验过程理论中的新工具提供了非渐进性后悔上界。此外，我们设计了一种自适应乐观算法 LCB-DR，展示了对差距的增强依赖性，类似于多臂赌博机文献中均匀分配和乐观分配之间的对比。

    Dec, 2023

  • 嵌套层级狄利克雷过程

    本文提出了一种新的嵌套层次狄利克雷过程（nHDP）用于层次主题建模，并且演示了如何使用随机变分推断算法以及贪心子树选择方法来有效地处理来自《纽约时报》和维基百科等海量文本文档。

    Oct, 2012