本研究探讨在数据分布漂移时,机器学习模型的预测性能和模型解释特征如何受影响,以及这些关键指标如何相互关联,发现模型解释任务的建模是检测预测性能变化的更好指标。
Oct, 2022
本研究探讨在数据删除请求的背景下算法回归失效的问题,理论上和经验上地分析了现有算法回归的行为,提出了一种框架可以识别关键的训练样本,当这些关键训练样本被移除时,会使大多数算法回归失效,从而对数据保护与算法可操作性提出了基本问题。
Aug, 2022
本研究提出了一种理论框架和三种不同技术来提高对解释的稳健性。通过训练方法,激活函数的平滑以及网络 Hessian 的最小化,实现了对提高模型的抗干扰能力。实验结果证实了这些方法的有效性。
Dec, 2020
机器学习模型在高风险环境中的应用越来越多,确保这些模型的预测不仅具有对抗性鲁棒性,而且能够向相关利益相关方进行解释变得重要。然而,这两个概念是否可以同时实现以及是否存在着它们之间的权衡是不清楚的。在本研究中,我们首次尝试研究对抗性鲁棒模型对行动性解释的影响,这些解释为最终用户提供了救济手段。我们在理论上和实证上分析了当基础模型具有对抗性鲁棒性和非鲁棒性时,最先进算法所生成的救济方案的成本(实施的便利性)和有效性(获得积极模型预测的概率)之间的差异,并针对对抗性鲁棒和非鲁棒的线性和非线性模型推导了理论界限。我们通过多个真实数据集的实证结果验证了我们的理论结果,并展示了模型鲁棒性不同程度对救济方案的成本和有效性的影响。我们的分析表明,对抗性鲁棒模型显著增加了救济方案的成本并降低了有效性,从而揭示了对抗性鲁棒性和行动性解释之间的固有权衡。
Sep, 2023
本文研究了在校准背景下,使用关注力分布实现模型解释性的难点,发现没有校准的模型使用关注力分布的方式实现解释性是不稳定的,这引发了关于关注力在可解释性中的实用性的疑问。
Jun, 2019
通过模拟实验和真实数据集的实验,研究调查了来自数据和模型属性的解释差异产生的挑战,包括有限样本量、协变量变化、概念变化、遗漏变量偏差以及敏感属性和适当的函数形式的挑战。研究结果表明,解释差异也取决于数据和模型属性,为解释方法设计提供了建议。
Jan, 2024
机器学习系统中不公正和歧视的问题引起了对 “解释权” 的关注。该研究对欧洲数据保护法的规定、法国行政法和欧洲理事会 108 号公约草案中的新的解释权进行了分析。虽然个人权利在隐私法中具有一定的作用,但与之相对应的透明度似乎仅仅是治标不治本的手段,因此其他形式的治理手段如影响评估、软性法律、司法审查和模型资源库等应该得到更多的关注,同时,推动代理机构为用户控制算法系统设计也应得到重视。
Mar, 2018
本文提出了基于贝叶斯框架的黑盒模型解释方法,能够生成可靠的局部解释和其关联的不确定性,并且具有稳定性和高度一致性,可以快速地解决几个重要问题。通过实证研究,证明了该方法的有效性,并提高了解释的可靠性。
Aug, 2020
研究了算法决策及数据使用的解释权和被遗忘权,并提出了解决两种权利的冲突的算法框架,该框架可以生成对于数据删除请求具有鲁棒性的解释,生成的解释可针对线性模型和某些非线性模型进行最坏情况下的数据删除请求保护,经实际数据集实验表明该框架的有效性。
Feb, 2023
介绍了黑盒模型的公平性与解释的相关性,强调解释并不一定能够保持算法的公平性,并提出评估和生成公平解释的未来研究方向。
Jun, 2021