Sep, 2023

通过词级音频片段和语言学特征解释语音分类模型

PDF
TL;DR对于理解语音模型，我们引入了一种新的方法，通过在两个信息层面上对输入进行扰动，生成易于理解的解释，以揭示语音分类模型中每个与单词相关的音频片段对结果的影响，并回答 “如果我们以这种方式编辑音频信号，模型的预测结果会是什么？”。我们在英语和意大利语的两个语音分类任务上验证了我们的方法，发现解释对于模型的内在工作是准确的且对人类来说是可信的，为未来关于解释语音模型的研究铺平了道路。
explainable aispeech modelsexplanationsslu modelsinterpretation
发现论文，激发创造
  • 自动语音识别的解释

    本研究提供了一种基于解释性人工智能的方法，旨在帮助提高人们对神经网络自动语音识别系统的理解及信任度，并针对文本转录的特性提出了针对性的解释方式，通过解释性故障定位和因果关系建立，以及基于局部可解释性模型的方法进行解释结果的评估。

    Feb, 2023

  • 可解释人工智能方法在语音识别中的可靠性评估 —— 以音素识别为例

    本文介绍了从图像分类领域中最新的可解释 AI 技术 “局部可解释模型 - 对抗性解释（LIME）”，应用于 TIMIT 语音数据集的语音识别任务中。将时间分割的音频片段作为解释器，本文提出的改进版本可以在其前三个音频片段中包含 96% 的真值，从而产生最可靠的解释。

    May, 2023

  • 模型无关 NLP 可解释性中解释的粒度

    通过对复杂的基于 BERT 的分类器使用基于段落的方法，本文改进了当前基于单词采样的黑盒 NLP 可解释性方法的局限性，大大提高了基准分类任务的解释保真度。

    Dec, 2020

  • 解释和说明用于音频信号分类的深度神经网络

    本文旨在探究如何使用 layer-wise relevance propagation 技术在音频领域内进行深度神经网络的解释性分析，并使用一个英语语音数字数据集对于语音数字和演讲者性别进行分类任务，通过对 LRP 得到的相关性分数进行假设和输入数据的系统操作，确认了在音频数据处理过程中的深度神经网络对相关特征的高度依赖性。

    Jul, 2018

  • 自然语言处理深度模型的可解释性研究

    本篇综述研究了在 NLP 领域中各种 ExplainableAI 方法的模型透明度，解释能力和评估方法，并将其分为三个层面：输入层（词嵌入），处理层（模型内部运算），输出层（模型判定），并提出了未来的研究方向。

    Oct, 2022

  • 自解释结构提高自然语言处理模型

    本论文提出了一种简单而通用的自说明深度学习模型的框架，通过添加一个解释层来聚合不同文本段落的信息并赋予权重，不需要额外的诱导模型，可以为高层次的文本单元提供直接的重要性评分，并在 SST-5 和 SNLI 数据集上取得了新的最好表现。

    Dec, 2020

  • 使用模型无关的方法解释仇恨言论分类

    本文研究了如何使用 BERT 模型和 LIME 算法来预测和解释仇恨言论，并提出了一种模型无关的解释方法，以支持系统的决策并防止模型偏差。

    May, 2023

  • 可解释的多标签音频分割的代理模型

    本文提出了一种可解释的多标签分割模型，它可以同时解决语音活动、音乐、噪声和重叠说话检测的问题。该模型利用非负矩阵分解将用于分割的嵌入映射到频域，具有良好的解释性特征。实验结果表明，该模型在两个数据集上的性能与预训练的黑盒模型相似，同时能够在段落级别和整体级别上轻松识别用于决策的频率区间。

    Jan, 2024

  • 通过对话式解释探索 NLP 模型和数据集的 InterroLang

    通过在 NLP 领域中使用具有自由文本理性化功能的对话系统，研究人员对 NLP 任务进行了改进，并通过评估模型性能和用户研究，证明了理性化和特征归因在解释模型行为方面的有效性。

    Oct, 2023

  • 自然语言处理中可解释人工智能的现状调查

    介绍当前自然语言处理中可解释 AI 的现状和对主要解释的分类，探究生成和可视化解释的各种方式和操作，详细介绍了为 NLP 模型预测生成解释的可用操作和可解释性技术，并提出当前领域研究存在的差距和未来方向。

    Oct, 2020