Mar, 2024

忠诚与可信性是否相冲突？在自然语言处理任务中的可解释人工智能的经验研究

PDF
TL;DR通过对情感分析、意图检测和主题标记等三个自然语言处理任务中选定的易解释算法与专家解释方法的综合定量比较，我们的研究表明，传统的基于扰动的方法 Shapley value 和 LIME 可以同时实现更高的准确度和用户可访问性，与模型的推理过程、领域专家一致的解释方式。这一发现提示我们在优化解释算法时应当以双重目标为导向，以实现准确度和用户可理解性的双重提高。
explainability algorithmsfaithfulnessplausibilityperturbation-based methodsnlp tasks
发现论文，激发创造
  • 忠实性与可信度：大型语言模型解释的（不）可靠性

    大型语言模型的自解释性及其在高风险决策中的忠诚度与可信度之间的矛盾。

    Feb, 2024

  • 自然语言处理中的模型解释研究综述

    本综述通过对忠实度的镜头，回顾了超过 110 种自然语言处理中的模型解释方法。我们考虑了忠实度的定义和评估，以及它对可解释性的重要性，并将现有方法分为五类。最后，我们总结了它们的共同优点和未解决的挑战，并反思了未来的研究方向。

    Sep, 2022

  • 忠诚度度量中的不一致问题

    解释性人工智能（XAI）领域旨在解释黑盒机器学习模型的工作方式，而选择合适的方法以及衡量本地解释的忠实度的当前指标缺乏一致性，使得使用者在选择最忠实的解释时感到困惑。

    Nov, 2023

  • 公正与可解释性之间的相互作用

    建立可靠且值得信赖的自然语言处理应用程序，模型需要在不同人群之间既公平又可解释。本研究通过两个文本分类数据集进行实验证明，公平和可解释性并不总是相互影响的，因此需要同时考虑这两个目标，以获得更好的结果。

    Oct, 2023

  • 传统机器学习模型解释方法比较 Part 2：量化模型解释可信度及通过降维改善

    本研究评估了多种特征排序方法的忠实度，并量化了限制相关特征对解释能力提高的影响，发现促进特征解释的方法在特征相关性降低后最具忠实度。

    Nov, 2022

  • 朝着忠实可解释的自然语言处理系统迈进：我们应该如何定义和评估忠实性？

    本文探讨了深度学习基础下的 NLP 模型识别问题，并呼吁更明确地区分不同标准，其中聚焦于 “忠实性” 标准。通过调查已有研究文献，将现有方法分为三种假设，并提供了具体指南来评估解释方法。最后，提出当前的 “忠实性” 定义是不真实的二元概念，呼吁使用更优选的渐进性概念。

    Apr, 2020

  • 基于逆向推理的合理性的自然语言推理中具体例子的逻辑可满足性

    本文提出 Faithfulness-through-Counterfactuals 方法并验证了其在模型验证及故障诊断中的有效性。该方法通过对逻辑谓词表达的对立假设进行模型预测一致性验证，无需额外的训练验证模型。

    May, 2022

  • 自然语言解释的忠实度测试

    本文探讨评估自然语言解释（NLEs）忠实度的挑战性问题，提出了两个测试：第一个是插入导致反事实预测的原因的反事实输入编辑器，第二个是从生成的 NLEs 中说明的原因中重建输入并检查它们导致相同预测的频率。我们的测试可以评估新兴的 NLE 模型，是开发忠实 NLE 的基本工具。

    May, 2023

  • 重新思考 AI 的可解释性与合理性

    本文研究机器解释符合人类交流规范、支持人类推理过程并满足人类对人工解释的需求的重要性，指出仅仅优化和评估机器解释的合理性（Explanation Plausibility）对于提高模型的可理解性、透明性与可信度是有害无益的，因此提出了一些可行的评估方法，并重点强调了可解释性特定的评估目标的重要性。

    Mar, 2023

  • 大型语言模型能自我解释吗？

    利用自洽性检查作为一种忠实度测量，将其应用于大型语言模型自我解释的三种类型，即反事实解释、重要性度量和删除。通过不同任务和模型，发现忠实度是任务和模型相关的，例如对于情感分类，Llama2 的反事实解释、Mistral 的重要性度量和 Falcon 40B 的删除是更加忠实的。最后，我们的发现在提示变体方面是稳健的。

    Jan, 2024