May, 2023

使用人工模拟研究量化图神经网络属性解释的固有用处

PDF
TL;DR本文介绍了在图神经网络中使用基于模拟的方法来量化加权图解释的固有有用性，发现相应的解释可以显著提高图神经网络的样本效率。作者认为这种有用性给出的是解释质量的一个维度，可被用作解释质量评估的新工具，特别是在图解释中。
发现论文，激发创造
  • 评估模型解释在模型开发中的效用

    通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

    Dec, 2023

  • 评估可解释 AI：哪些算法解释有助于用户预测模型行为？

    本文研究机器学习模型的解释方法对模型可解释性方面的影响，通过两类涉及文本和表格数据的模拟测试，评估了五种解释方法的有效性，表明模型可模拟性在分类表格方面使用 LIME 可以得到改善，而我们的 Prototype 方法在反事实的模拟测试中也是有效的。本文的结果显示，我们需要对评估解释方法的指标进行谨慎处理，并且当前方法仍有很大的改进空间。

    May, 2020

  • 验证关系解释：一种概率方法

    通过生成对称近似的对抗性样本，我们开发了一种方法来评估 GNNExplainer 生成的解释中的不确定性，通过学习一个因子图模型来量化解释的不确定性，我们的结果表明我们的方法可以可靠地估计解释中指定关系的不确定性。

    Jan, 2024

  • GraphFramEx：面向图神经网络可解释性方法的系统评估

    本文提出了第一个系统性的图神经网络的可解释性评估框架，比较了该领域中最具代表性的技术，涉及节点分类任务和欺诈检测应用案例。

    Jun, 2022

  • 图神经网络的生成式解释：方法与评估

    结合图生成的角度，本文综述了用于图神经网络的解释方法，并就生成解释方法提出了统一的优化目标，包括归因和信息约束两个子目标。通过揭示现有方法的共享特性和差异，为未来的方法改进奠定了基础。实证结果对不同的解释方法在解释性能、效率和泛化能力方面的优势和局限性进行了验证。

    Nov, 2023

  • 漏洞调整模拟能力：模型能否以自然语言生成其行为的非平凡解释？

    本研究提出了一种新的评估自然语言生成模型的生成解释质量的方法，利用模型的 “可模拟性” 衡量生成的解释质量，并提供了多个案例研究以及优化生成解释质量的算法。

    Oct, 2020

  • 人类解释总是有帮助的吗？走向对人类自然语言解释客观评估

    该研究提出了一种新的度量人工注释解释质量的指标，即帮助性指标，以比较传统的模拟能力评分。在五个数据集和两种模型架构上对该指标进行了评估，结果表明其能够客观地评估注释解释的质量，同时传统的模拟能力评分则不能。

    May, 2023

  • 图神经网络的可解释性评估

    本文介绍了一种名称为 ShapeGGen 的数据生成器，它可以生成各种基准数据集，并配备了地面真实解释。ShapeGGen 通过生成多样的综合数据集和相关地面真实解释，允许我们模仿各种现实应用程序生成的数据。ShapeGGen 和几个真实世界的图形数据集被包括在一个开源的图解释库中，名为 GraphXAI。除了具有地面真实解释的综合和真实世界的图形数据集外，GraphXAI 还提供数据加载器，数据处理函数，可视化器，GNN 模型实现和评估指标，以评估 GNN 可解释性方法的性能。

    Aug, 2022

  • 评估解释：老师的解释在多大程度上有助于学生？

    本文提出了一个框架，通过衡量解释对用于模拟教师模型的学生模型的精确度增益来量化解释的价值，并比较了多种文本分类和问题回答任务的解释方法，观察到了在不同学生模型结构和学习策略中一致的定量差异。

    Dec, 2020

  • 基于图神经网络的解释自动化评估

    对于如何以易于理解的方式向终端用户解释图神经网络预测仍然是一个未解决的问题，本文基于应用趋势和实际问题经验，提出了一种自动评估 GNN 解释的方法。

    Jun, 2021