分类中的预测复杂性

Sep, 2019

Predictive Multiplicity in Classification

Charles T. Marx, Flavio du Pin Calmon, Berk Ustun

TL;DR本研究旨在解决机器学习中不同模型之间预测结果冲突的问题，定义了预测重复性作为预测问题接受有多个竞争模型的能力，并引入形式化的度量方式和整数规划工具来计算它们，应用于反复犯罪预测问题中，结果显示现实世界的数据集会接受互相冲突的模型，提出了需要在模型评估中报告预测重复性的建议。

Abstract

Prediction problems often admit competing models that perform almost equally well. This effect challenges key assumptions in machine learning when competing models assign conflicting predictions. In this paper, w

predictive multiplicity competing models conflicting predictions integer programming recidivism prediction

发现论文，激发创造

数据集多样性问题：不可靠数据如何影响预测

介绍了一种名为 “数据集多样性” 的框架，用于研究训练数据集中的不准确性、不确定性和社会偏见如何影响测试时间的预测，以及该框架在机器学习实践和研究中的考虑。

Apr, 2023

基于 Dropout 的 Rashomon 集探索技术用于高效的预测乘性估计

通过利用 dropout 技术来探索 Rashomon 集合中的模型，提出了一个用于衡量和减轻预测多样性的新框架，通过严格的理论推导和实验证明该技术在预测多样性度量估计方面始终优于基准方法，并通过 dropout 集成和模型选择实现了高效的 Rashomon 集合探索和度量估计。

Feb, 2024

多目标复数性：资源有限情况下目标规定中的灵活性和公平性

通过建立多目标多重性理论框架，研究预测模型中目标变量选择对不同个体的结果和不同群体之间选择率差异的影响，涉及研究多元目标选择、公平性和预测倍数等方面。

Jun, 2023

关于可靠机器学习的基准模型多样性的实证研究：图像分类案例研究

通过对可信度的多维度模型设计和其对一系列可靠度指标的影响进行一站式的经验基准测试，我们的研究暴露了深度学习模型的过参数化现象导致的模型多样性，这需要在模型选择过程中增加额外的规范以避免意外的失败，并为这种多样性提供影响和趋势的可行性建议。

Nov, 2023

针对预测多样性的反事实解释

本文研究了如何以更低的成本生成对于多个分类器表现相等情况下对于分类结果的对抗讲解，在理论和实证研究中，对于解释成本与解释鲁棒性进行了概念的阐述，发现基于数据支持的方法相较于仅仅基于稀疏方法更加鲁棒，但是它们在成本方面会有所提高。因此，缘由推荐为稀疏方法在多分类器表现差异大的情况下不宜一概而论。

Jun, 2020

利用一组优秀模型进行预测性用户流失

通过研究 Rashomon 集合中模型更新引起的冲突预测多样性，本文提出了一种传统多样性度量方法用于预测模型的非稳定预测数量，以及如何通过该方法预测、减少和避免消费者应用中的冲突。

Feb, 2024

任意性超越公平 - 准确度前沿线

机器学习中的公平干预可能会加剧预测复杂性，而提出了一种可应用于任何公平干预的集成算法来解决挑战并确保更一致的预测。

Jun, 2023

调和模型多样性用于下游决策

我们提出了一个框架，通过多次校准预测模型以在下游决策问题中与真实概率分布无法区分来解决模型多样性问题，并通过实验验证了改进后的预测模型在减少下游决策损失和达成一致的最优响应行动方面的效果。

May, 2024

内容审查中的算法任意性

机器学习在在线内容管理中广泛使用，但其引入了预测多样性等挑战，该研究旨在分析” 预测多样性 “如何影响内容管理工具的分类结果、社会群体的不平等影响以及与人工分类的对比，结果表明算法扩展的内容管理存在着过度管理人权的风险，为了减轻这些风险，需要通过增加透明度来识别和监管内容管理的任意性。

Feb, 2024

机器学习中的多模型公平和伦理

该研究探讨了预测模型多样性对公平性的影响，发现在多个同等效果的模型中选择对于个人可能具有不利影响，而单纯技术手段无法解决这种问题。

Mar, 2022