ICLRFeb, 2023

使用模拟用户研究设计机器学习解释的评估案例研究

PDF
TL;DR通过机器学习模型作为人类用户的代理，提出了一种模拟用户评估的方法（SimEvals），并在电子商务欺诈检测的真实用例中应用，发现在这种情况下，所有考虑到的模型解释方法都与基准模型一样，没有明显的优势，这与原始用户研究的结论相符，因此初步证明了 SimEvals 在运行用户研究之前的使用价值。
model explanationssimevalsml-assisted decision-makinge-commerce fraud detectionuser studies
发现论文，激发创造
  • 基于用例的模拟评估解释

    该论文提出了使用基于用例的模拟评估（SimEvals）来评估机器学习模型中的解释方法是否有助于实际应用，并且通过三个真实世界的用例进行了综合评估，以证明 SimEvals 可以有效地确定哪些解释方法适用于每个用例。

    Jun, 2022

  • 评估模型解释在模型开发中的效用

    通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

    Dec, 2023

  • 评估可解释 AI：哪些算法解释有助于用户预测模型行为？

    本文研究机器学习模型的解释方法对模型可解释性方面的影响，通过两类涉及文本和表格数据的模拟测试，评估了五种解释方法的有效性，表明模型可模拟性在分类表格方面使用 LIME 可以得到改善，而我们的 Prototype 方法在反事实的模拟测试中也是有效的。本文的结果显示，我们需要对评估解释方法的指标进行谨慎处理，并且当前方法仍有很大的改进空间。

    May, 2020

  • 重新思考用户研究设计以评估模型解释

    该研究通过一个众包实验，探讨解释机器学习模型的预测对人类是否具有帮助，并发现在给定特征系数的情况下，人们能够更有效地对线性词袋模型进行操纵，但解释对 BERT 型分类器并没有显著提高操纵能力，而通过伪造 BERT 模型的线性模型的对全局归属的解释则可以有效地操作 BERT 型模型。

    Dec, 2021

  • 评估信息获取系统的用户模拟

    本书系统地回顾了用户模拟的研究进展，包括为设计用户模拟器制定的一般框架、利用用户模拟进行评估的模型和算法，以及用于搜索引擎、推荐系统和对话助手的用户交互模拟，并讨论了重要的未来研究方向。

    Jun, 2023

  • 通过用户模拟评估对话式推荐系统

    本文提出一种通过用户模拟来替代人类评估的方法，以实现对话推荐系统的自动评估。作者表明，通过考虑用户的个人喜好和与系统的一般交互流程，偏好建模和特定任务交互模型都有助于实现高度自动化的绩效评估结果和人工人工评估的高度相关性。

    Jun, 2020

  • 可解释机器学习中无基础真实性解释的评估

    本文系统地定义了评估 interpretable machine learning 方法的问题，并全面回顾了现有工作。作者提出了三个方面的解释（即泛化性、准确性和说服性），并分别回顾了不同任务下的代表性方法，设计了一个统一的评估框架，用于实践中的不同场景。

    Jul, 2019

  • 如何选择一个解释器？一个基于应用的后续解释评估

    提出了一种名为 XAI Test 的应用基准评估方法，旨在评估不同水平的信息提供对最终决策的影响，针对现实世界的欺诈检测任务进行了实验，并使用多种统计方法分析了三种热门解释器的影响。

    Jan, 2021

  • 学习支架：优化模型解释以便教学

    本文利用元学习技术，通过优化解释，使得学生模型更有效地学习模拟原始模型，探讨了提供解释的明确目标及其实现方法，在三个自然语言处理和计算机视觉任务中，通过人类注释和用户研究，发现我们提取的解释与人类解释更加贴近。

    Apr, 2022

  • 一种用于解释性机器学习中识别任务相关属性的模拟到实际方法

    使用一个通用、经济高效的方法，在计算模拟中确定与任务相关的解释属性并指导设计更昂贵的用户研究。

    May, 2024