机器学习黑盒子中抽取的符号化知识的评估指标：讨论论文

Nov, 2022

机器学习黑盒子中抽取的符号化知识的评估指标：讨论论文

Evaluation Metrics for Symbolic Knowledge Extracted from Machine Learning Black Boxes: A Discussion Paper

Federico Sabbatini, Roberta Calegari

TL;DR本文探讨了通过规则提取技术，以人类可解读的方式转化出来的模型的可读性评估及其度量方法，以及在比较不同知识表示和知识提取器的参数自动调优算法方面的应用和局限。

Abstract

As opaque decision systems are being increasingly adopted in almost any application field, issues about their lack of transparency and human readability are a concrete concern for end-users. Amongst existing proposals to associate human-interpretable knowledge with accurate predictions

opaque decision systems rule extraction techniques readability assessment knowledge representations parameter autotuning algorithms

发现论文，激发创造

基于聚类的符号化知识提取方法

本文提出使用深度聚类法作为符号知识提取的预处理方法以获得更好的性能，并讨论了基于超立方体输入空间区域的规则创建被分区可能导致次优解的情况。

Nov, 2022

有关模型可解释性的定量方面

本文针对机器学习中可解释性的问题进行了研究，提出了一组度量用于评估不同的可解释性方法，进而解决了目前仅仅依靠定性分析和用户研究来评估不同解释性方法的缺陷。在实验中，通过对不同的基准任务进行验证，并展示如何使用这些度量指导实践者选择最合适的方法，进一步阐述了基准任务、特征提取器和解释性方法之间的概念关系。

Jul, 2020

量化机器学习系统的可解释性和可信度

本文提出了一种量化解释性方法质量的量化度量，并在众包实验中通过信息传输速率得到了实证证据，从而说明解释性方法的价值。同时，还提出了一种信任度量，以检测人类决策是否过度偏向机器学习预测。

Jan, 2019

模型可解释性的人类评估的挑战与机遇

本文提出了 “描述性解释” 和 “说服性解释” 的区别，讨论了功能解释与认知功能和用户偏好可能相关的推理，并提出了两个研究方向来消除认知功能和解释模型之间的歧义，保持准确性和可解释性之间的权衡控制。

Nov, 2017

透明机器学习的质量指标与是否有人参与无关

使用心理物理学技术研究了可解释计算机视觉算法的质量，发现经典的心理物理学方法可以用于机器学习应用程序中，而无需人为干预，使用传统的自动化质量指标计算出的质量指标不能提供一致的解释方法排名，这些发现强调了只有在人机交互的自然环境中评估解释能力才能获得真实的解释能力评估。

Jul, 2021

面向自然语言生成的可解释评估度量

本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

Mar, 2022

机器学习预测的局部和全局可解释度度量

本文提供了一种新颖的量化指标框架，用于解释分类器和回归模型的预测结果，旨在提高人工智能系统的透明度和可信度。应用公开数据集，展示了这些指标如何更全面地理解模型预测，并在决策者和利益相关者之间促进更好的沟通，从而增加人工智能系统的整体透明度和问责度。

Feb, 2023

衡量可解释性方法质量的解释质量评分

该研究提出了一种新的用于评估解释可能性方法生成的解释质量的度量标准，并利用六种解释可能性方法在三个 NLP 任务上计算和展示了度量标准的结果。

May, 2022

解释性知识追踪调查

通过对可解释的知识追踪进行细致全面的分析，本文提供了人工智能和知识追踪领域的研究者一些基础和启发，旨在实现算法高准确性和用户对决策的可理解性、可靠性的提升。

Mar, 2024

可解释机器学习的严格科学探索

该研究论文旨在对可解释的机器学习进行定义和分类，并提出了一种更严谨的可解释机器学习科学评估方法的问题。

Feb, 2017