模型多样性下的诉求问题通过论证集成

Dec, 2023

模型多样性下的诉求问题通过论证集成

Recourse under Model Multiplicity via Argumentative Ensembling

Junqi Jiang, Antonio Rago, Francesco Leofante, Francesca Toni

TL;DR模型多样性（MM）引起了当多个性能相同的机器学习模型能够用于解决相同预测任务时的问题。最近的研究表明，在模型多样性下，可能出现对于相同输入的不一致预测。本文正式提出这个问题，我们将其称为具有回溯意识的集成，并确定了几个希望解决此问题的方法应满足的可取属性。我们显示现有的集成方法，在不同方式扩展以提供回溯解释时，无法满足这些属性。然后，我们引入论证式集成，使用计算性的论证来保证对模型多样性的回溯解释的稳健性，并适应可定制化的用户偏好。我们在理论和实验证明论证式集成满足现有方法所缺乏的属性，并且在准确性方面的权衡是最小的。

Abstract

model multiplicity (MM) arises when multiple, equally performing machine learning models can be trained to solve the same prediction task. Recent studies show that models obtained under MM may produce inconsistent predictions for the same input. When this occurs, it becomes challenging

model multiplicity counterfactual explanations recourse-aware ensembling argumentative ensembling robustness

发现论文，激发创造

通过边界提升构建强大的集成模型

该论文介绍了一种通过 margin-boosting 来学习最大 margin 的神经网络集成防御方法，并提出了一种 margin-maximizing cross-entropy (MCE) 损失函数，实验证明用 MCE 代替标准的 cross-entropy 损失函数在对抗训练上能显著提高性能。

Jun, 2022

集成算法处理模型不确定性下的一致解释

该研究利用集成方法，针对预测模型的不确定性问题，提高了解释的一致性，并在金融数据集上进行实验，证明了集成方法在机器学习中提高可靠性的有效性。

Jun, 2023

有意义且健壮的算法补救措施的因果视角

本研究提出了有意义的算法追溯 (MAR) 方法，该方法仅推荐同时改善预测和目标的操作，从而解决了原有算法追溯方法的问题，并介绍了一种称为有效算法追溯（EAR）的方法，它可以假定采取操作可以影响模型目标的所有原因，从而生成有意义的算法追溯解释。

Jul, 2021

约束优化模型集成

通过多调整技术和组合模型来改进多维输出预测的下游优化问题，提出了两个高效收敛的算法，并在实验中对其性能和行为进行了探索。

May, 2024

基于 Tree 集成的灵活可优化反事实解释解释（FOCUS）

为了解决机器学习模型的可解释性问题，本研究提出了一种基于梯度优化和概率模型逼近的反事实解释方法，可以适用于不可微模型如树模型，并且该方法得出的反事实案例要优于其他针对树模型的反事实方法。

Nov, 2019

机器学习中的鲁棒反事实解释：一项调查

对于机器学习模型的预测结果影响的人来说，反事实解释（CEs）被认为是提供理想算法解决方案的。然而，最近的工作揭示了与获取 CEs 的最新方法相关的严重问题的存在，因此需要采取技术来减轻风险。在这项调查中，我们回顾了快速发展的稳健 CEs 领域的研究，并对其所考虑的稳健性形式进行了深入分析。我们还讨论了现有解决方案及其限制，为未来的发展提供了坚实的基础。

Feb, 2024

由一组解释器产生的反事实集合中选择解释的多标准方法

基于多标准分析的多阶段集成方法能够从 Pareto 前沿中选择一个用于解释机器学习模型预测的可行对策。实验结果表明，该方法能够生成具有吸引力的多种质量度量的可操作对策。

Mar, 2024

任意性超越公平 - 准确度前沿线

机器学习中的公平干预可能会加剧预测复杂性，而提出了一种可应用于任何公平干预的集成算法来解决挑战并确保更一致的预测。

Jun, 2023

分类中的预测复杂性

本研究旨在解决机器学习中不同模型之间预测结果冲突的问题，定义了预测重复性作为预测问题接受有多个竞争模型的能力，并引入形式化的度量方式和整数规划工具来计算它们，应用于反复犯罪预测问题中，结果显示现实世界的数据集会接受互相冲突的模型，提出了需要在模型评估中报告预测重复性的建议。

Sep, 2019

覆盖效力感知算法性补救

算法回溯是提升机器学习模型解释性、透明性和伦理性的一种突出技术；现有的算法回溯方法通常假设预测模型是不变的，但预测模型往往会在新数据到达时进行更新，因此对于未来的模型而言，对现有模型有效的回溯方法可能变得无效。为解决这个问题，我们提出了一个新框架生成与模型变化鲁棒的模型无关回溯。我们的框架首先构建了一个基于线性 (代理) 模型的可覆盖性和有效性感知回溯，然后根据这个线性模型生成回溯。我们建立了我们的可覆盖性和有效性感知线性模型与极小最大概率机 (MPM) 之间的理论联系，并证明通过给定不同的协方差鲁棒性，我们的框架可以恢复 MPM 的常用正则化，包括ℓ2 正则化和类别重新加权。此外，我们还展示了我们的代理模型直观地推动近似超平面，使得回溯既具有鲁棒性又具有可解释性。数值结果证明了我们框架的有用性和鲁棒性。

Nov, 2023