使用离流派去垢剂公平洗涤说明

ICMLJul, 2020

Fairwashing Explanations with Off-Manifold Detergent

Christopher J. Anders, Plamen Pasliev, Ann-Kathrin Dombrowski, Klaus-Robert Müller, Pan Kessel

TL;DR本文针对黑盒分类器透明度不高的问题，研究了说明方法。但理论上和实验结果都表明，说明方法的结果不能证明算法的决策是合理、公正和可信赖的。为此，本文提出了改进的说明方法从而提高其鲁棒性。

Abstract

explanation methods promise to make black-box classifiers more transparent. As a result, it is hoped that they can act as proof for a sensible, fair and →

explanation methods black-box classifiers decision-making process trustworthy robustness

发现论文，激发创造

公正掩蔽：理性化的风险

研究了黑匣子解释问题，利用 LaundryML 算法演示如何以一定的公平指标系统地合理化黑匣子机器学习模型的不公平决策，可提供高效的规则列表，同时满足高度匹配和更少的不公平性。

Jan, 2019

解释性之路的通行需面对偏见：衡量解释的公平性

本文通过在金融、医疗保健、大学招生和美国司法系统等四个领域的实际数据中审计了不同保护子组的解释质量，发现不同子组的近似质量显着不同，而解释深度学习模型的近似质量差异存在着公平性挑战，需要进一步解决。

May, 2022

生成维护公正的解释需要什么？

介绍了黑盒模型的公平性与解释的相关性，强调解释并不一定能够保持算法的公平性，并提出评估和生成公平解释的未来研究方向。

Jun, 2021

用另一个黑盒子解释一个黑盒子是否有意义？

透明方法和不透明方法是解释黑盒的两个主要方法家族。实证证据表明，不透明方法在应用中可能会增加复杂性，而没有显著的性能增益，从而引发了关于使用另一个黑盒解释黑盒的问题的讨论。

Apr, 2024

针对热力图解释的对抗攻击的简单防御

通过多种解释方法的聚合，我们提供了一种有效的方法来防御神经网络上的对抗性攻击，使其对于潜在攻击变得更加稳健。

Jul, 2020

平滑解释黑匣子 —— 反事实方法

该研究提出了一种黑盒对抗解释器来解释医学应用中的图像分类模型，并通过对诊断放射学居民进行实验，发现反事实解释是唯一能显着提高用户对分类器决策理解的解释方法。

Jan, 2021

深度神经网络的鲁棒解释

本研究提出了一种理论框架和三种不同技术来提高对解释的稳健性。通过训练方法，激活函数的平滑以及网络 Hessian 的最小化，实现了对提高模型的抗干扰能力。实验结果证实了这些方法的有效性。

Dec, 2020

反事实解释可被操纵

本文介绍了反事实解释的脆弱性并表明其容易被操纵，进一步提出了一个新颖的目标来训练明显公平的模型，在轻微扰动下反事实解释可以找到更低成本的救济措施。然而，我们在贷款和暴力犯罪预测数据集上的实验表明，这些模型可能会不公平地提供低成本的救济措施给特定的子群体。这些发现引起了对当前反事实解释技术可信度的担忧，并希望能启发对健壮性反事实解释的探索。

Jun, 2021

具有差分隐私的模型解释

使用差分隐私机制构建基于特征的模型解释，降低解释数据隐私泄露，评估差分隐私模型及其隐私机制对模型解释质量的影响。

Jun, 2020

通过多样性促进反事实鲁棒性

通过报告多个反事实，可以提供一些有意义的鲁棒性保证，这篇论文提出了一种近似算法来选择最相关的解释，并在实验中证明了其在生成鲁棒性解释方面的改进。

Dec, 2023