Nov, 2023

应用分布鲁棒优化获得可解释的分类模型

PDF
TL;DR通过利用分布鲁棒优化，我们提出了一个新的公式来学习一组规则集的集合，以在保持计算成本低的同时确保良好的泛化性能，并通过构建一个稀疏的规则集合来解决规则集的稀疏性和预测准确性之间的固有权衡。
model explainabilitygeneralized linear modelsrule setsdistributionally robust optimizationensemble learning
发现论文，激发创造
  • 广义线性规则模型

    本文提出使用基于规则的特征（也称为规则集成）的广义线性模型，用于回归和概率分类，通过列生成算法，优化规则集合的复杂度和预测准确性的平衡。在逻辑回归和线性回归的实验中，与现有的规则集成算法相比，所提出的方法可以获得更好的准确性 - 复杂度平衡，一端可以与少量簇比较。

    Jun, 2019

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017

  • 基于多源数据的分布鲁棒机器学习

    利用多源数据建立组分布鲁棒预测模型以优化关于目标分布解释方差的对抗性奖励，提高了面对分布偏移的目标群体的预测准确性；该模型是源群体条件结果模型的加权平均，并通过引入偏差校正估计器提高了聚合权重的收敛速度，同时满足一些隐私约束并具有解释不同源数据对于预测给定目标协变量分布的重要性的优点。

    Sep, 2023

  • 基于组合优化的大规模分布式鲁棒模型学习

    本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

    Mar, 2022

  • 表格监督机器学习模型的性能和可解释性多目标优化

    本研究提出了一种不受模型约束的框架，可以同时优化监督式机器学习模型在表格数据上的预测性能和可解释性，其中可解释性通过特征稀疏性、特征交互稀疏性以及非单调特征效应的稀疏性进行量化。

    Jul, 2023

  • 多样化的规则集

    该研究提出了一种新方法来推断不同的规则集，通过在 Max-Sum 多样化框架下优化决策规则之间的小重叠，以及在鉴别品质和规则集多样性之间最大化加权总和，来克服联想规则指数级搜索空间的困难。该算法通过随机采样高度鉴别且重叠小的规则，并证明其拥有更好的预测能力和解释性。

    Jun, 2020

  • 数据驱动解释对抗外部数据的鲁棒性研究

    本篇论文提出了基于自监督学习思想的分布式鲁棒性解释，针对黑盒模型的应用，解释在数据分布变化时的可靠性，并通过广泛的实验验证了该方法对模型的鲁棒性提升。

    Mar, 2023

  • 针对分类数据学习可证实最优规则列表

    本文提出了一种基于离散优化的过程，用于构建基于分类特征空间的规则列表，并且通过算法边界、高效数据结构和计算复用来获得数倍的时间加速和大幅度降低的内存消耗。其结果表明，通过本方法可以在几秒钟内构建出比 Broward County，Florida 的数据上的 COMPAS 专有风险预测工具准确性近似的解释性优化规则列表，这是一种新的解释性建模决策树方法的替代方案。

    Apr, 2017

  • 专注于共同利益：团体分布稳健性的追求

    本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

    Oct, 2021