Jul, 2022

当语言模型的可解释性与我们对语言的心理模型不一致时，请小心理性陷阱！

PDF
TL;DR通过决策树模型分析当前的解释过程无法达到目标的原因，进一步强调需要从多个角度进行人类中心设计，逐步适应用户期望的解释模型的可信度、完整性和用户心理模型。
language modelsexplainabilitymental modelfidelityhuman-centered design
发现论文，激发创造
  • 可解释 NLP 的合理化探索：一项调查

    文章分析了 2007-2022 年间自然语言处理领域合理化 (Rationalization) 技术的发展现状和存在的问题，提出了一种新的可解释人工智能技术领域 Rational AI (RAI) 并讨论未来的研究方向和挑战。

    Jan, 2023

  • 为什么您会提出这样的建议？人类对语言模型回答的信任

    通过对开放式新闻标题生成任务中的人类研究和模型评估，我们分析了解释的表达方式和存在对用户信任和模型性能的影响。整体而言，我们提供了证据表明，在用户有机会比较不同的回答时，模型回答中添加解释以证明其推理能显著增加用户对模型的自我报告信任。对这些解释的位置和忠实度也是重要因素。然而，当用户独立地看到回答时，这些增益消失，这表明人类在独立显示时平等地信任所有模型回答，包括欺骗性的回答。我们的发现督促未来的研究更深入地探讨人机合作系统中信任的微妙评估。

    Jun, 2024

  • 通过对话式解释探索 NLP 模型和数据集的 InterroLang

    通过在 NLP 领域中使用具有自由文本理性化功能的对话系统，研究人员对 NLP 任务进行了改进，并通过评估模型性能和用户研究，证明了理性化和特征归因在解释模型行为方面的有效性。

    Oct, 2023

  • 机器学习中基于逻辑的可解释性

    本文概述了现有关于计算机生成机器学习模型正式解释的研究，旨在与之前基于非正式解释的方案进行比较，并讨论了各种问题，包括基于不同机器学习模型的最佳逻辑编码以及如何使解释具有可解释性。

    Oct, 2022

  • 大型语言模型的可解释性概述

    对大型语言模型的解释技术进行分类和总结，并讨论了这些技术在训练范式、生成局部解释和全局解释方面的应用以及评估指标、调试模型和提高性能的挑战和机会。

    Sep, 2023

  • 基于神经机器翻译的理性化自然语言解释生成方法

    介绍了 AI 合理化的方法，将自主系统行为的解释生成为人工行为的样式。使用神经机器翻译将自主智能体的内部状态 - 行为表示翻译成自然语言来描述合理化技术。通过 Frogger 游戏环境对该技术进行评估，训练一个自主游戏代理人，使其使用自然语言合理化其行动选择。结果显示，神经机器翻译能够准确生成描述代理行为的合理化方法，合理化比其他替代方法更能满足人类需要。

    Feb, 2017

  • 自动事实验证解释评估框架的探索

    深度神经模型在自然语言处理中变得越来越复杂且难以解释，因此解释它们的必要性也越来越大。本文提出了一个正式框架来支持对解释的系统评估，并提供了适用于不同结构的解释的示例，重点是自动事实验证任务。

    Mar, 2024

  • 利用对比解释解读语言模型

    该研究关注对语言模型的对比解释，证明对比解释在验证大型语法现象和改善对相互模拟性上是可量化地更好的，并且可以表征模型在各种语言生成决策中使用的输入令牌。

    Feb, 2022

  • 公正与可解释性之间的相互作用

    建立可靠且值得信赖的自然语言处理应用程序，模型需要在不同人群之间既公平又可解释。本研究通过两个文本分类数据集进行实验证明，公平和可解释性并不总是相互影响的，因此需要同时考虑这两个目标，以获得更好的结果。

    Oct, 2023

  • 使用决策树评估全局模型解释的人类可理解性

    生成全球模型解释将促进人们更好地理解和做出决策，从而引导设计可信和实用的健康信息系统。

    Sep, 2023