Oct, 2022

通过显著性地图语言化构建自然语言解释

PDF
TL;DR该论文提出了一种方法将视觉化的神经网络关注热点与自然语言解释相结合，形成可读性更高的可解释性，研究表明这种方法比传统的热图可视化更易于人类理解。
saliency mapsneural modelsnatural language explanationsverbalizationhuman evaluation
发现论文，激发创造
  • 通过众包评估自然语言处理中的显著性解释

    通过众包方法，我们提出了一种新的基于人类的自然语言处理（NLP）显著性方法评估方法，对七种显著性方法在两个数据集上进行了实证评估，与现有的自动评估方法进行了对比，发现了 NLP 和计算机视觉（CV）领域在使用显著性方法时存在显著差异。

    May, 2024

  • 基于显著性解释的文本人类解读

    通过研究用于文本数据的基于显著性的解释，本研究调查了多种因素（如输入，解释和可视化方式）对普通人理解解释的影响，并发现类似单词长度等表面和不相关的因素会影响解释的理解，但通过基于模型评估的方法，可以提高人们的理解能力。

    Jan, 2022

  • 使用随机调查实验测试基于显著性的可解释性在自然语言处理中的有效性

    该研究通过一个基于随机抽样的实验，旨在检验基于显著性的事后可解释性方法在自然语言处理中的有效性，结果表明，人类往往会倾向于较少批判性地接受该类解释。

    Nov, 2022

  • 显著图的合理性检查

    本文对几种显著性方法进行实验和理论探索，提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明，有些现有的显著性方法具有独立性，这些方法不受模型和数据生成过程的影响，因此，那些未通过所提出测试的方法，对于对数据或模型敏感的任务（ 如在数据中找到异常值，解释模型所学到的输入和输出之间的关系以及调试模型）是不适当的。与边缘检测类比，本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。

    Oct, 2018

  • 基于显著性模型解释的图形感知

    通过实验设计研究可视化设计决策、对齐类型和显著性地图质量对人类感知显著性视觉解释的影响。

    Jun, 2024

  • 评估用于卷积神经网络的显著性图解释：用户研究

    本文研究使用的 CNN 在一些图像分类问题中表现非常好，但是解释 CNN 的操作是非常困难的。因此，本文提出了一种新型的解释算法，称为 LRP 算法，通过人机交互的方式发现这种算法被用于图像分类问题的特定图像特征敏感性，并针对该方法进行了用户评估。评估结果表明，该算法可以帮助参与者学习一些系统对特定图像特征的敏感性，但是对于新图像的分类任务提供的帮助似乎非常有限。因此，HCI 和人工智能社区需要超越实例级别的解释算法，继续研究解释 AI 的设计和进一步研究的问题。

    Feb, 2020

  • 评估神经语言模型的显著性方法

    本文通过对 NLP 模型的神经语言进行全面的定量评估，从两个方面评价了预测解释的质量：可信度和可信度。通过评估，我们发现，如何在给定相同模型和预测时，不同的显着性方法经常在解释上产生分歧。作者建议部署此类方法到神经语言模型的未来工作，应该在得出结果之前仔细验证其解释。

    Apr, 2021

  • 解开人工智能错误之谜：探索大型语言模型的人工和机器解释的有效性

    本研究通过与最新方法（集成渐变、保守 LRP 和 ChatGPT）进行对比实证调查，收集和分析了 156 个人生成的文本和基于显著性的解释，并发现与机器显著性图相比，人工显著性图尤其在解释人工智能结果时更具说明性，但其性能与对人工智能模型和解释的信任负相关，揭示了人工智能解释中的困境：当有助于理解错误的人工智能预测时，会降低任务表现。

    Apr, 2024

  • 具体情境下的自然语言解释

    自然语言解释、预训练语言模型、情境感知的自然语言解释、提示工程方法、自动化评估分数是本论文研究的关键词和主题。

    Aug, 2023

  • 显著性学习：教导模型关注重点

    本论文旨在通过提供解释训练并确保模型的解释与真实解释的一致性，教会深度学习模型以恰当的原因做出正确的预测。实验结果表明，所提出的方法比传统训练模型更加可靠和有效。

    Feb, 2019